Building Trust in the Skies: A Knowledge-Grounded LLM-based Framework for Aviation Safety

Título: Construindo Confiança nos Céus: Um Framework Baseado em LLMs e Conhecimento para Segurança Aeronáutica

1. Problema e Contexto

A integração de Grandes Modelos de Linguagem (LLMs) na tomada de decisões de segurança aeronáutica oferece potencial para automatizar a análise de relatórios de incidentes e documentos regulatórios. No entanto, a aplicação direta de LLMs em ambientes críticos de segurança apresenta riscos severos:

• Alucinações e Inexatidões Fáticas: LLMs tendem a gerar informações plausíveis, mas incorretas, ou inventar regulamentos e procedimentos que não existem.
• Falta de Rastreabilidade: A natureza de "caixa preta" dos LLMs impede a atribuição de proveniência (fontes), violando requisitos de auditoria e conformidade de normas como DO-178C e ISO/IEC/IEEE 8800.
• Limitações de Conhecimento: Os modelos possuem cortes temporais de conhecimento, ignorando diretivas de aeronavegabilidade (ADs) ou boletins de incidentes recentes.
• Custo de Manutenção de KGs: As abordagens tradicionais de Grafos de Conhecimento (KGs) exigem construção manual intensiva, tornando-se estáticas e difíceis de atualizar frente a dados operacionais em constante evolução.

2. Metodologia: Pipeline Integrado em Duas Fases

O artigo propõe um framework end-to-end que combina a flexibilidade linguística dos LLMs com a estrutura verificável dos Grafos de Conhecimento (KGs), operando em um ciclo fechado:

Fase 1: Construção e Atualização Dinâmica do KG (ASKG)

• Objetivo: Automatizar a criação do Aviation Safety Knowledge Graph (ASKG) a partir de fontes heterogêneas (relatórios do NTSB, registros da FAA, dados operacionais).
• Tecnologias: Uso de LangChain para orquestração, spaCy para reconhecimento de entidades e SentenceTransformers com FAISS para resolução de entidades.
• Ontologia: Define 7 tipos de entidades (Agentes, Condições, Instalações, etc.) e 5 tipos de relacionamentos (ex: Operado Por, Ocorreu Em).
• Resolução de Entidades: Implementa uma estratégia de três níveis (normalização léxica, correspondência por embeddings e regras específicas de aviação) para lidar com variações terminológicas (ex: "B737-800" vs "Boeing 737-800").
• Armazenamento: Os dados são ingeridos no banco de dados gráfico Neo4j, com restrições de esquema para garantir integridade.

Fase 2: Arquitetura de Geração Aumentada por Recuperação (RAG) Baseada em Grafos (GraphRAG)

• Tradução Natural para Cypher: Em vez de buscar apenas trechos de texto (como no RAG tradicional), o sistema usa um LLM (Llama-3 via Groq) para traduzir consultas em linguagem natural para consultas Cypher otimizadas.
• Contexto e Validação: Um gerenciador de contexto mantém o histórico da conversa para desambiguar consultas multi-turno.
• Execução e Resposta: O sistema executa a consulta Cypher no Neo4j, recupera subgrafos estruturados e utiliza esses dados factuais para fundamentar a resposta final do LLM. Isso garante que a resposta seja derivada de dados verificados, não de probabilidades do modelo.
• Otimização: Uso de cache semântico (Redis) e análise de planos de consulta para reduzir latência.

3. Contribuições Principais

• Pipeline de Ciclo Fechado: Diferente de abordagens modulares, o sistema integra a construção dinâmica do KG pelo LLM com o uso desse mesmo KG para validar as saídas do LLM em tempo real.
• Mitigação de Alucinações: Ao forçar o LLM a basear suas respostas em nós e arestas recuperados do KG, o sistema elimina a geração de informações inventadas.
• Rastreabilidade Total: Cada recomendação de segurança pode ser rastreada até os nós específicos do grafo e às fontes originais (ex: relatório do NTSB), atendendo a requisitos regulatórios.
• Interface "Text2Cypher": Permite que usuários não técnicos realizem consultas complexas de múltiplos saltos (multi-hop) sobre dados estruturados sem precisar conhecer a linguagem de consulta.

4. Resultados e Implementação

• Dataset: Utilização de dados do NTSB de janeiro de 1990 a novembro de 2025, resultando em um conjunto de 68.681 registros com 38 características.
• Escala do KG: O sistema identificou 205.922 entidades e 137.241 relacionamentos no Neo4j.
• Desempenho:
  • O pipeline demonstrou superioridade em consultas que exigem raciocínio relacional complexo (ex: correlacionar condições ambientais com tipos de incidentes) em comparação com abordagens puramente baseadas em vetores ou SQL.
  • A precisão na geração de sintaxe Cypher foi validada, permitindo consultas estruturadas corretas.
  • O sistema suporta consultas de múltiplos saltos (multi-hop) com desempenho independente da profundidade da travessia.
• Avaliação: A validação foi feita em três dimensões: Precisão do Esquema (mapeamento correto dos dados hierárquicos), Precisão da Consulta (sintaxe Cypher válida) e Fundamentação Contextual (respostas derivadas estritamente do grafo).

5. Significado e Impacto

Este trabalho representa um avanço significativo para a adoção responsável de IA na aviação:

• Segurança Crítica: Transforma os LLMs de ferramentas de "resumo" para assistentes de decisão confiáveis, onde a verificação de fatos é obrigatória.
• Conformidade Regulatória: Oferece a auditabilidade necessária para agências como a FAA e EASA, permitindo que recomendações de segurança sejam justificadas por evidências estruturadas.
• Adaptabilidade: O framework supera a rigidez dos KGs manuais tradicionais, permitindo que o conhecimento evolua automaticamente com novos dados operacionais.
• Futuro: O sistema abre caminho para a exploração de recuperação híbrida (vetor + grafo) e mecanismos de "human-in-the-loop" para refinamento contínuo da extração de relações.

Em suma, o framework proposto estabelece um novo padrão para sistemas de IA em domínios de alta confiabilidade, equilibrando a capacidade cognitiva dos LLMs com a rigorosa verificação estrutural dos Grafos de Conhecimento.