Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Este artigo propõe um método inovador e automatizado de Segurança por Design que utiliza uma representação baseada em kernel multidimensional para derivar o Domínio de Projeto Operacional (ODD) a partir de dados coletados, abordando assim os desafios de certificação de sistemas de IA críticos para a segurança, conforme validado por simulações de Monte Carlo e um caso de uso real de prevenção de colisões na aviação.

O essencial

Imagine que você está ensinando um robô a pilotar um avião. Você quer que o robô seja seguro, então precisa dizer a ele exatamente onde e quando ele tem permissão para voar. No mundo da segurança de IA, essa "zona permitida" é chamada de Domínio de Projeto Operacional (ODD).

Tradicionalmente, especialistas se sentavam diante de um quadro branco e tentavam desenhar essa zona à mão, escrevendo regras como "não voe na chuva" ou "não voe acima de 30.000 pés". Mas o mundo real é bagunçado. O clima, o tráfego e o vento interagem de maneiras complexas que é impossível listar perfeitamente em um quadro branco. Isso frequentemente leva a lacunas de segurança onde o robô acha que está seguro, mas na verdade está em uma situação perigosa sobre a qual não foi informado.

Este artigo propõe uma nova maneira de desenhar essa zona de segurança: deixe os dados desenharem para você.

Aqui está uma explicação simples de como eles fizeram isso, usando analogias do cotidiano:

1. O Problema: O "Mapa em Branco"

Imagine que você tem um mapa de uma cidade, mas as ruas estão escondidas no nevoeiro. Você sabe que a cidade existe, mas não sabe exatamente onde estão as estradas seguras e onde estão os penhascos.

• Método Antigo: Especialistas adivinham onde estão as estradas com base em sua experiência. Eles podem perder um penhasco escondido.
• Método Novo: Você solta milhares de bolinhas brilhantes (pontos de dados) sobre o mapa. Onde as bolinhas aterrissam, você sabe que é seguro. Onde elas não aterrissam, você assume que pode ser perigoso.

2. A Solução: A "Rede Brilhante"

Os autores criaram um método para transformar esses pontos de dados espalhados em um mapa de segurança suave e contínuo. Eles chamam isso de Representação Baseada em Kernel.

Pense em cada ponto de dados (uma condição de voo segura) como uma fogueira.

• O Fogo: Bem na fogueira, está muito quente (muito seguro).
• O Calor: À medida que você se afasta do fogo, o calor diminui. Não para abruptamente; fica cada vez mais frio até ser quase imperceptível.
• A Rede: O sistema de IA cria um enorme "mapa de calor" invisível combinando o calor de todas essas fogueiras.
  • Se você está onde o calor é forte, você está dentro da zona de segurança.
  • Se você está em um ponto frio entre as fogueiras, você está fora da zona de segurança.

Isso é melhor do que desenhar uma caixa rígida ao redor das fogueiras, porque leva em conta as "áreas cinzentas" no meio.

3. A "Rede de Segurança" para Erros

E se você acidentalmente soltar uma bolinha em um lugar que é realmente perigoso (como a borda de um penhasco)? O sistema precisa saber para não colocar um fogo ali.

• Os autores adicionaram uma regra: Se um ponto de dados "perigoso" receber calor demais das fogueiras próximas, o sistema automaticamente diminui as fogueiras ao redor dele até que o ponto perigoso fique frio novamente.
• Isso garante que a zona de segurança nunca cubra acidentalmente um perigo conhecido.

4. Por Que Isso Importa para a Certificação

Para aprovar um avião ou um carro para uso, os reguladores precisam saber que as regras são sólidas.

• Determinístico: O artigo afirma que, se você executar esse processo duas vezes com os mesmos dados, obterá exatamente o mesmo mapa de segurança todas as vezes. Não é um chute de "caixa preta"; é um cálculo matemático.
• Independente da Ordem: Não importa se você alimenta os dados no computador de manhã ou à tarde, ou em uma ordem diferente. O resultado é sempre o mesmo.
• Conservador: Se o sistema não tem certeza se um local é seguro (porque não há pontos de dados ali), ele assume que é inseguro. Essa é uma abordagem "é melhor prevenir do que remediar", o que é crucial para sistemas críticos de segurança.

5. A Prova: O Teste do "Simulador de Voo"

Os autores testaram esse método de duas maneiras:

1. Simulação Matemática: Eles criaram uma zona de segurança perfeita e falsa em um computador e depois tentaram reconstruí-la usando apenas pontos de dados espalhados. Seu método de "rede brilhante" recriou a zona original com mais de 98% de precisão.
2. Aviação do Mundo Real: Eles aplicaram isso a um problema real de aviação: Evitação de Colisão. Usaram dados de um sistema projetado para impedir que aviões colidam entre si. O método mapeou com sucesso as condições operacionais seguras para esse sistema complexo, provando que funciona mesmo com dados reais e bagunçados.

Resumo

Este artigo apresenta uma ferramenta (chamada autoSAFE) que pega dados brutos de um sistema crítico de segurança e desenha automaticamente uma "zona de segurança" precisa e matematicamente comprovada ao seu redor. Em vez de adivinhar as regras, ela aprende os limites a partir dos próprios dados, garantindo que a IA opere apenas onde foi comprovado que é seguro. Isso torna muito mais fácil certificar sistemas de IA para coisas como pilotar aviões ou dirigir carros.

Resumo técnico

Resumo Técnico: Definição de Condições Operacionais para Sistemas Baseados em IA Críticos para a Segurança a Partir de Dados

1. Declaração do Problema

A rápida implementação da Inteligência Artificial (IA) em domínios críticos para a segurança (por exemplo, aviação, automotivo) exige garantia e certificação rigorosas de segurança. Um requisito central para a certificação de sistemas baseados em IA é a definição do Domínio de Projeto Operacional (ODD) — o conjunto específico de condições ambientais e operacionais sob as quais o sistema destina-se a funcionar com segurança.

Tradicionalmente, os ODDs são definidos manualmente por especialistas de domínio no início do ciclo de vida de desenvolvimento. No entanto, para sistemas complexos do mundo real, essa abordagem enfrenta desafios significativos:

• Complexidade: Definir inter-relações (ontologia) entre parâmetros (por exemplo, como o clima afeta a velocidade de pouso) é difícil e frequentemente incompleto.
• Natureza Estática: ODDs definidos por especialistas podem não capturar dependências implícitas de parâmetros ou adaptar-se a novos dados.
• Lacunas de Certificação: Abordagens baseadas em dados atuais frequentemente carecem de representações determinísticas e independentes de ordem ou de estruturas formais para similaridade de ODD, que são pré-requisitos para certificação formal.

Representações matemáticas existentes (por exemplo, polítopos convexos) falham em modelar ontologias de ODD não lineares, enquanto abordagens baseadas em redes neurais introduzem dependência de ordem e incerteza. Há uma necessidade de um método para derivar ODDs diretamente a partir de dados que seja determinístico, independente de ordem, limitado e interpretável.

2. Metodologia

O artigo propõe um método Safety-by-Design (Segurança por Design) para definir ODDs a posteriori a partir de dados coletados usando uma representação baseada em kernel multidimensional. A metodologia central envolve as seguintes etapas:

2.1 Formalização Matemática

Os autores formalizam o ODD como uma estrutura matemática $O = (X, R^O, f^O, \Omega^O)$, onde $X$ é a taxonomia (espaço de parâmetros), $R^O$ é a ontologia (restrições) e $f^O$ é a função de interpretação. Crucialmente, eles definem a similaridade de ODD ($O_1 \sim O_2$) não por equivalência semântica, mas por equivalência centrada em dados: dois ODDs são similares se gerarem o mesmo conjunto de dados $Y$.

2.2 Representação de Afinidade Baseada em Kernel

Em vez de construir limites manualmente, o método constrói o ODD diretamente a partir de amostras de dados:

• Pontos de Âncora: Amostras dentro da distribuição (ID) ($D_{ID}$) servem como pontos de âncora ($A$). Amostras fora da distribuição (OOD) ($D_{OOD}$) são explicitamente excluídas.
• Afinidade Local: Para cada ponto de âncora $x_i$, uma função de afinidade local $\alpha_i(x)$ é definida usando um kernel positivo-definido (especificamente o kernel de Função de Base Radial (RBF)).
• Afinidade Global: A pertinência global ao ODD é determinada pela superposição de afinidades locais:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Uma amostra $x$ pertence ao ODD se $\alpha(x) \geq \zeta$, onde $\zeta$ é um limiar predefinido.

2.3 Parametrização Automatizada

Para garantir que o processo seja totalmente automatizado e evite o ajuste manual:

• Covariância Diagonal: A matriz de covariância do kernel $\Sigma$ é assumida como diagonal, baseada na suposição de independência local e distribuição uniforme de pontos de âncora.
• Escala Dependente de Distância: As entradas diagonais de $\Sigma$ são definidas como uma função da distância ao vizinho mais próximo ($d^*_i$):
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Isso reduz o número de hiperparâmetros de $N \times n^2$ para apenas dois ($\kappa, \eta$) mais um limite inferior $\lambda$.

2.4 Restrição de Consistência OOD

Para garantir segurança, o método impõe que amostras OOD não devem ser classificadas como parte do ODD. Se uma amostra OOD $x$ violar o limiar ($\alpha(x) > \xi$), o algoritmo escala iterativamente para baixo a matriz de covariância do kernel mais influente para aquele ponto. Este processo é independente de ordem e comprovado para terminar em etapas finitas, garantindo $\alpha(x) \leq \xi$ para todas as amostras OOD.

3. Contribuições Principais

1. Estrutura Determinística e Independente de Ordem: O artigo apresenta o primeiro pipeline totalmente automatizado para derivar ODDs a partir de dados usando uma representação baseada em kernel que é unicamente determinada pelos dados e invariante à ordenação das amostras.
2. Definição Formal de Similaridade de ODD: É introduzida uma definição de similaridade de ODD centrada em dados, permitindo a comparação de ODDs baseados em dados contra a verdade fundamental ou proxies sem exigir alinhamento semântico.
3. Implementação Safety-by-Design: A representação de ODD resultante é limitada, conservadora (subestima o ODD verdadeiro em regimes esparsos) e interpretável, satisfazendo requisitos-chave para futura certificação de IA.
4. Tratamento de Dados Esparsos: O método é projetado para funcionar efetivamente mesmo com regimes de dados esparsos, tornando-o aplicável às etapas iniciais de desenvolvimento.
5. Ferramenta de Código Aberto (autoSAFE): Os autores desenvolveram e disponibilizaram como código aberto uma ferramenta (autoSAFE) que implementa esta estrutura, suportando vários formatos de dados (CSV, JSON/ASAM OpenLABEL) e buscas eficientes de vizinho mais próximo.

4. Validação e Resultados

A metodologia foi validada através de dois experimentos principais:

4.1 Simulação de Monte Carlo

• Configuração: Um ODD sintético 2D foi gerado com uma restrição de desigualdade linear. Pontos de âncora foram amostrados do ODD verdadeiro, e amostras de validação foram geradas em um hiperretângulo mais amplo.
• Descobertas: O ODD baseado em dados foi comparado contra o ODD subjacente verdadeiro e o casco convexo dos pontos de âncora.
  • Curvas de precisão e recall mostraram uma forte correlação entre o ODD baseado em dados e o casco convexo ($R^2 = 0,9855$ para precisão, $R^2 = 0,9987$ para recall).
  • Isso sugere que o casco convexo pode servir como um proxy confiável para ajustar limiares de afinidade quando o ODD de verdade fundamental é desconhecido.
  • Os resultados mantiveram-se para dimensões de até 10 e funções de relacionamento complexas.

4.2 Caso de Uso Real de Aviação (VCAS)

• Contexto: O método foi aplicado ao Sistema de Evitação de Colisão Vertical (VCAS), um componente do sistema ACAS X de próxima geração.
• Dados: O conjunto de dados incluiu 622.110 pontos de âncora representando vetores de estado (altitude relativa, taxas verticais, tempo até o ponto de aproximação mais próxima, conselho anterior).
• Descobertas:
  • O ODD baseado em dados foi comparado contra o ODD de verdade fundamental conhecido e o casco convexo.
  • Coeficientes altos de determinação foram observados ($R^2 = 0,991$ para precisão, $R^2 = 0,999$ para recall).
  • Os resultados confirmaram que a abordagem baseada em kernel performa bem em um cenário realista, de alta dimensão e crítico para a segurança, apesar da menor densidade de pontos de âncora em comparação com a simulação de Monte Carlo.

5. Significado e Alegações

O artigo alega que, embora uma reconstrução "totalmente verdadeira" de um ODD nem sempre seja possível apenas a partir de dados, a abordagem baseada em kernel proposta aproxima suficientemente o ODD subjacente para fins de certificação.

• Prontidão para Certificação: O método fornece uma base matematicamente rigorosa, determinística e explicável para a definição de limites operacionais. Isso apoia estruturas regulatórias (por exemplo, EASA) que exigem avaliação contínua de segurança e limites operacionais claros.
• Monitoramento em Tempo de Execução: Diferentemente de limites geométricos rígidos, a função de afinidade contínua $\alpha(x)$ permite zonas de aviso graduais. À medida que o estado do sistema se afasta dos pontos de âncora, a pontuação de afinidade decai suavemente, permitindo a detecção precoce de condições fora da distribuição antes que um limite de segurança rígido seja cruzado.
• Conservadorismo: A abordagem é inerentemente conservadora. Em regimes de dados esparsos, o ODD derivado subestima a região segura verdadeira, garantindo que o sistema seja implantado apenas em áreas apoiadas por dados de treinamento suficientes. Isso alinha-se com o princípio Safety-by-Design.
• Limitações: Os autores reconhecem que o método depende de parâmetros de kernel ($\kappa, \eta$) e que a suposição de covariância diagonal simplifica dependências entre dimensões. Eles observam que o ODD resultante pode ser excessivamente conservador em regiões esparsas, potencialmente excluindo condições operacionais válidas, mas argumentam que isso é um compromisso necessário para a garantia de segurança.

Em conclusão, o trabalho estabelece um caminho para a construção de ODD baseada em dados que é compatível com argumentos formais de segurança, preenchendo a lacuna entre dados empíricos e os requisitos rigorosos da certificação de IA em sistemas críticos para a segurança.