🤖 AI

On the Applicability of Safety Nets: A Safety-By-Design Solution for Certifying Neural Networks

Este artigo apresenta uma análise sistemática e uma implementação de código aberto de Safety Nets, uma solução de Segurança por Design que combina redes neurais otimizadas com tabelas de consulta compactas para alcançar 100% de correção em tempo de execução e reduzir drasticamente as pegadas de memória, permitindo, assim, a certificação de sistemas baseados em IA para aplicações de aviação críticas à segurança.

Autores originais: Johann Maximilian Christensen, Thomas Stefani, Elena Hoemann, Frank Köster, Sven Hallerbach

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Johann Maximilian Christensen, Thomas Stefani, Elena Hoemann, Frank Köster, Sven Hallerbach

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A aviação tem sido, há muito tempo, o padrão ouro para a segurança, um domínio onde o erro humano é minimizado por meio de engenharia rigorosa e regras estritas. No entanto, à medida que os céus se enchem com mais aeronaves e o número de pilotos disponíveis diminui, a indústria está recorrendo à inteligência artificial para ajudar a gerenciar a carga de trabalho. O desafio é que esses novos sistemas de computador devem ser tão confiáveis quanto os mecânicos que eles substituem, um requisito difícil de atender quando o software aprende com dados em vez de seguir um conjunto fixo de instruções. No caso específico de prevenir colisões no ar, o método tradicional baseia-se em tabelas de consulta massivas — essencialmente manuais de instruções gigantes que dizem ao computador exatamente o que fazer em cada situação possível. Essas tabelas são tão grandes que sobrecarregariam a memória dos computadores de aeronaves atuais, tornando impossível instalá-las. Para resolver isso, os engenheiros tentaram comprimir essas instruções em programas menores e mais inteligentes usando redes neurais, que são sistemas de computador projetados para imitar a maneira como o cérebro humano reconhece padrões. No entanto, como essas redes neurais podem cometer erros, os reguladores exigem uma forma de garantir que elas nunca falhem em um momento crítico.

Pesquisadores do Centro Aeroespacial Alemão desenvolveram uma solução chamada "rede de segurança" para preencher essa lacuna e agora testaram sistematicamente como tornar essas redes o mais pequenas e eficientes possível. O trabalho deles foca em dois sistemas específicos de prevenção de colisões: um que diz ao piloto quando virar para a esquerda ou para a direita, e outro que aconselha quando subir ou descer. A ideia central é simples, mas poderosa: usar uma rede neural para lidar com a vasta maioria das situações, mas manter uma lista de backup pequena e perfeita para os casos raros em que a rede possa ficar confusa. Os pesquisadores trataram o tamanho da rede neural e o tamanho desta lista de backup como um equilíbrio. Eles queriam encontrar a forma e o tamanho exatos da rede neural que tornariam a lista de backup o menor possível, sem tornar a própria rede grande demais para caber no avião.

Para encontrar esse ponto ideal, a equipe realizou milhares de experimentos, ajustando a estrutura interna das redes neurais como um mecânico ajustando um motor. Eles testaram diferentes tipos de funções matemáticas que ajudam a rede a aprender, variando o número de camadas dentro da rede e alterando quantos processadores havia em cada camada. Eles também experimentaram diferentes maneiras de ensinar a rede, como pedir que ela previsse um valor específico versus simplesmente pedir que ela escolhesse a melhor opção de uma lista. Os resultados foram surpreendentemente específicos. A equipe descobriu que os designs mais eficientes não eram os mais complexos. Em vez disso, redes com três a cinco camadas, cada uma contendo aproximadamente cinquenta a cem unidades de processamento, atingiram o equilíbrio perfeito. Além disso, descobriram que uma função matemática padrão conhecida como ReLU funcionava melhor do que alternativas mais avançadas, e que ensinar a rede a simplesmente escolher a melhor opção funcionava muito melhor do que pedir que ela calculasse números complexos.

Quando essas configurações ideais foram aplicadas, os resultados foram dramáticos. Para o sistema que lida com curvas horizontais, o tamanho combinado da rede neural e da lista de backup encolheu para apenas 4,76 megabytes. Para o sistema vertical, que lida com subir e descer, o tamanho total foi de 222,83 megabytes. Esses números representam uma redução massiva em relação aos manuais de instrução originais, que exigiriam quatro gigabytes de memória — cerca de mil vezes mais espaço do que o novo sistema para o cenário de curva. Essa redução significa que o sistema agora pode caber confortavelmente nos computadores usados atualmente em aeronaves, um feito que era anteriormente impossível. Os pesquisadores também confirmaram que o sistema é incrivelmente rápido, tomando decisões em microssegundos, o que é muito mais rápido do que o ciclo de atualização de um segundo exigido para a segurança de voo.

Talvez o mais importante, o estudo provou que esta abordagem atende aos padrões de segurança mais rigorosos. Como a lista de backup contém a resposta correta para cada situação em que a rede neural possa errar, o sistema combinado é garantido como 100 por cento correto em todo o intervalo de possíveis cenários de voo. Isso significa que o sistema não depende de probabilidade ou esperança; ele é matematicamente certo em fornecer o conselho correto. Os pesquisadores liberaram todo o seu código e dados para o público, permitindo que outros engenheiros verifiquem suas descobertas e construam sobre elas. Ao demonstrar que uma rede neural pode ser combinada com um pequeno backup perfeito para criar um sistema que é ao mesmo tempo compacto e infalível, este trabalho fornece um caminho claro e prático para certificar a inteligência artificial para uso nas partes mais críticas de segurança da aviação. O estudo mostra que, com o design certo, podemos ter a adaptabilidade do aprendizado de máquina sem sacrificar a confiabilidade absoluta que mantém os passageiros seguros no céu.

Resumo Técnico: Aplicabilidade de Redes de Segurança para Certificação de Redes Neurais na Aviação

Definição do Problema
A integração da Inteligência Artificial (IA) em sistemas de aviação críticos para a segurança, especificamente o ACAS X (Sistema de Evitação de Colisão em Voo), enfrenta uma barreira crítica: os requisitos de memória das tabelas de consulta do Processo de Decisão de Markov (MDP) subjacente excedem vastamente a capacidade do hardware de aviônica atual. Por exemplo, a saída bruta de programação dinâmica para o ACAS X exige centenas de gigabytes, enquanto mesmo tabelas de lógica subamostradas excedem 2 GB. Em contraste, computadores de gerenciamento de voo modernos tipicamente oferecem apenas centenas de megabytes (ex: 512 MB). Embora redes neurais tenham sido propostas para comprimir essas tabelas, seu implantação em contextos críticos de segurança exige uma abordagem de "Segurança por Design" para garantir 100% de correção em todo o Domínio de Design Operacional (ODD), um requisito que o teste estatístico sozinho não pode satisfazer. Estudos anteriores sobre "Redes de Segurança" (Safety Nets) — sistemas híbridos que combinam redes neurais com tabelas de consulta — careciam de uma análise abrangente de compensações arquiteturais e não forneceram implementações reproduzíveis.

Metodologia
Este trabalho apresenta uma análise sistemática de Redes de Segurança aplicadas aos sistemas HCAS (Horizontal Collision Avoidance System) e VCAS (Vertical Collision Avoid Avoidance System), que servem como aproximações de prova de conceito para o ACAS Xa e ACAS Xu. A metodologia segue um processo de desenvolvimento W-shaped estendido, em conformidade com as diretrizes da EASA, focando nas seguintes etapas:

Decomposição do Sistema: Tanto o HCAS quanto o VCAS são tratados como conjuntos de redes neurais menores (40 subsistemas para o HCAS, 9 para o VCAS), cada um lidando com combinações específicas de avisos anteriores e tempo para o ponto mais próximo de aproximação ( $\tau$ ).
Varredura de Hiperparâmetros: Um estudo rigoroso foi conduzido para identificar arquiteturas de redes neurais ideais. O estudo variou:
- Funções de Ativação: ReLU, LeakyReLU e GELU.
- Profundidade da Arquitetura: 2, 3, 5 e 7 camadas ocultas.
- Largura da Arquitetura: 25, 50, 100, 150 e 200 nós por camada.
- Codificação de Saída: Codificação de alvo (regressão de Q-values completos) vs. Codificação One-hot (classificação do aviso ideal).
Protocolo de Treinamento: Diferente de tarefas de generalização, todo o espaço de entrada discreto serviu como o conjunto de treinamento, validação e teste para garantir a memorização exata da política do MDP. O treinamento utilizou Erro Quadrático Médio para codificação de alvo e Entropia Cruzada para codificação one-hot, com interrupção precoce (early stopping) para evitar computação desperdiçada.
Construção da Rede de Segurança: Para cada configuração, a rede neural foi avaliada contra a tabela de consulta (LUT) de verdade fundamental. Vetores de entrada onde a rede produziu saídas incorretas foram armazenados em uma tabela de consulta (LUT). O tamanho total do sistema é a soma dos parâmetros da rede neural e das entradas da LUT.
Verificação: As Redes de Segurança resultantes garantem 100% de correção em todo o espaço de entrada discretizado por construção, uma vez que qualquer erro é corrigido pela LUT.

Principais Resultados
O estudo identificou parâmetros de design específicos que minimizam o tamanho total do sistema enquanto mantêm a conformidade de certificação:

Arquitetura Ótima: Redes com 3 a 5 camadas ocultas e 50 a 100 nós por camada alcançaram o melhor equilíbrio. Aumentar a profundidade além de 5 camadas ou a largura além de 100 nós gerou retornos decrescentes na taxa de recuperação, ao mesmo tempo em que aumentou a variância e a pegada de memória.
Função de Ativação: Contrariando as tendências da literatura geral de classificação, a ReLU superou a LeakyReLU e a GELU. Os autores atribuem isso à natureza discreta, limitada e de constante por partes do MDP, onde os padrões de ativação esparsa da ReLU alinham-se melhor com as fronteiras de decisão em degraus.
Estratégia de Codificação: A codificação One-hot superou consistentemente a codificação de alvo em pelo menos uma ordem de magnitude em termos da porcentagem de dados armazenados na LUT, particularmente para arquiteturas menores.
Desempenho do Sistema:
- HCAS: Alcançou 99,65% de cobertura da rede neural. O tamanho combinado do sistema foi de 4,76 MiB (3,22 MiB da rede + 1,54 MiB da LUT), uma redução de quase três ordens de magnitude em comparação com a tabela MDP monolítica.
- VCAS: Alcançou 97,77% de cobertura. O tamanho combinado do sistema foi de 222,83 MiB (1,44 MiB da rede + 221,40 MiB da LUT), uma redução de pouco mais de uma ordem de magnitude. A LUT domina o tamanho do VCAS devido ao maior espaço de entrada e complexidade da política.
- Tempo de Execução: Os tempos de inferência foram submilissegundos (aprox. 20–57 $\mu$ s), bem dentro do orçamento de atualização de 1 segundo do ACAS X.

Significância e Alegações
O artigo afirma fornecer a primeira análise sistemática das compensações entre a arquitetura de rede neural e o tamanho da tabela de consulta em Redes de Segurança para a aviação de evitação de colisões. Suas principais contribuições são:

Diretrizes de Design: Estabelece que, para compressão de política baseada em MDP, a ReLU e larguras de rede moderadas (50–100 nós) são superiores às alternativas, desafiando suposições derivadas de benchmarks gerais de aprendizado de máquina.
Caminho de Certificação: O trabalho demonstra que as Redes de Segurança satisfazem os objetivos de garantia de aprendizado e implementação da EASA (especificamente LM-04, LM-10 e IMP-11) por construção. Ao verificar exaustivamente a rede contra a verdade fundamental e armazenar as desvios, o sistema atinge um limite de erro determinístico e zero sobre o ODD discretizado, eliminando a necessidade de argumentos de generalização estatística.
Reprodutibilidade: Os autores lançam a primeira implementação de código aberto de Redes de Segurança para HCAS e VCAS, incluindo scripts de treinamento e arquivos de manifesto, abordando uma lacuna em trabalhos anteriores onde os detalhes de implementação não foram divulgados.
Viabilidade: Os resultados mostram que as Redes de Segurança podem comprimir sistemas de IA críticos para a segurança para caber nas restrições de memória do hardware de aviônica atual, fornecendo um caminho prático para sistemas baseados em IA certificáveis.

Os autores observam que os tamanhos relatados baseiam-se em implementações de prova de conceito (HCAS/VCAS), que representam subconjuntos reduzidos dos envelopes operacionais completos do ACAS Xa/Xu. Consequentemente, embora a metodologia seja validada, as figuras absolutas de tamanho para um sistema de escala de produção total seriam maiores, embora as reduções de ordem de magnitude e o argumento de certificação "correto por design" permaneçam aplicáveis.

Mais como este