KEO: Knowledge Extraction on OMIn via Knowledge Graphs and RAG for Safety-Critical Aviation Maintenance

Resumo Técnico: KEO para Manutenção de Aviação Crítica

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstraram grande potencial, mas enfrentam desafios significativos em domínios especializados e críticos para a segurança, como a manutenção de aviação. As principais limitações incluem:

• Dependência de Conhecimento Paramétrico: Os LLMs baseiam-se em dados de treinamento que podem estar desatualizados ou conter imprecisões factuais.
• Falta de Transparência e Rastreabilidade: Em ambientes de alto risco, a "alucinação" de modelos e a falta de contexto verificável comprometem a confiança e a reprodutibilidade.
• Limitações do RAG Tradicional: A abordagem padrão de Retrieval-Augmented Generation (RAG) utiliza recuperação baseada em chunks (fragmentos) de texto não estruturado. Isso frequentemente resulta em contextos redundantes e fragmentados, dificultando o raciocínio complexo, multi-hop (múltiplos passos) e a compreensão global do sistema.

O objetivo deste trabalho é desenvolver um sistema seguro, localmente implantável e capaz de realizar raciocínio estruturado para suporte à decisão em manutenção aeronáutica.

2. Metodologia: O Framework KEO

O KEO (Knowledge Extraction on OMIn) é um framework que integra Representação de Conhecimento Estruturado (Grafos de Conhecimento - KG) com RAG. O sistema opera em quatro componentes principais:

A. Criação do Grafo de Conhecimento (KG)

• Fonte de Dados: Utiliza o conjunto de dados OMIn (Operations and Maintenance Intelligence), contendo 2.748 registros de incidentes de aviação da FAA.
• Extração Automática: Como não existia um padrão-ouro para extração de relações no OMIn, o KEO utiliza LLMs (como GPT-4o ou Phi-4-mini) em configuração zero-shot para extrair triplas estruturadas: (Entidade Cabeça, Relação, Entidade Cauda).
• Estrutura: O KG é representado como um conjunto de triplas ponderadas, onde o peso indica a frequência da relação no corpus. O processo é iterativo para minimizar redundância de nós.

B. Pipeline de RAG Baseado em KG
Diferente do RAG tradicional que busca chunks de texto, o KEO realiza recuperação no nível de entidades:

1. Identificação de Nós Semântica: O sistema calcula a similaridade semântica entre a consulta do usuário e os nós (entidades) do KG, selecionando os top-k nós mais relevantes como "sementes".
2. Expansão do Grafo Consciente da Importância: A partir das sementes, o sistema expande o grafo para m-hops (vizinhos múltiplos). Utiliza-se um algoritmo de Árvore de Expansão Máxima (MST) em componentes conectados para filtrar e priorizar as conexões mais estruturalmente significativas, preservando a coerência do contexto.
3. Reconstrução de Contexto: O subgrafo filtrado é convertido em descrições textuais estruturadas. Adicionalmente, aplica-se uma resumo hierárquico de comunidades (inspirado no GraphRAG) para fornecer ao LLM tanto detalhes locais quanto insights globais da estrutura do conhecimento.

C. Criação de Benchmark de QA
Foi desenvolvido um novo benchmark de 133 perguntas dividido em duas categorias para avaliar diferentes capacidades de raciocínio:

• Compreensão Global (Global Sensemaking): Perguntas que exigem síntese de padrões, tendências sazonais e falhas recorrentes em todo o conjunto de dados (ex: "Quais são os modos de falha recorrentes e tendências sazonais?").
• Conhecimento para Ação (Knowledge-to-Action): Perguntas derivadas do dataset MaintNet que exigem transferir conhecimento estruturado para novos cenários de manutenção, testando a generalização em vez da simples recuperação de texto.

D. Avaliação

• Modelos de Resposta: LLMs leves e localmente implantáveis (Gemma-3, Phi-4, Mistral-Nemo) para garantir segurança e privacidade (sem APIs externas).
• Julgadores: Modelos mais fortes (GPT-4o, Llama-3.3) atuam como juízes para pontuação absoluta e comparação pareada, utilizando métricas específicas para precisão factual, completude e segurança.

3. Principais Contribuições

1. Framework KEO: Uma nova arquitetura que substitui a recuperação de chunks de texto pela recuperação e expansão baseada em Grafos de Conhecimento para domínios críticos.
2. Benchmark OMIn-QA: A criação de um conjunto de testes abrangente que avalia tanto o raciocínio global (sensemaking) quanto a transferência de conhecimento para ações práticas de manutenção.
3. Validação de Segurança e Desempenho: Demonstração de que é possível construir sistemas de IA seguros e locais que superam métodos tradicionais em tarefas complexas, sem depender de APIs de nuvem.
4. Análise de Escalabilidade: Estudo sobre o impacto do tamanho do KG e da qualidade do modelo extrator na performance final.

4. Resultados Experimentais

Os experimentos revelaram uma dicotomia clara no desempenho dependendo do tipo de tarefa:

• Tarefas de Compreensão Global (Global Sensemaking):

  • O KEO superou significativamente tanto o Vanilla LLM (sem contexto) quanto o RAG baseado em chunks (Text-chunk RAG).
  • O KG permitiu revelar padrões sistêmicos e insights de alto nível que o RAG tradicional falhou em conectar devido à fragmentação do texto.
  • Modelos mais fortes (como Gemma-3) beneficiaram-se mais do contexto estruturado do KG.
  • O desempenho ótimo foi observado com KGs construídos a partir de 200-300 registros.

• Tarefas de Conhecimento para Ação (Knowledge-to-Action):

  • O RAG baseado em chunks manteve-se mais eficaz ou teve desempenho equivalente ao KEO.
  • Para procedimentos específicos e localizados, a recuperação direta de textos semanticamente similares (chunks) foi mais precisa do que a abstração estruturada do KG.
  • Métricas ROUGE não mostraram diferenças estatisticamente significativas, sugerindo que a natureza curta e específica das respostas anula a vantagem do KG nestes casos.

5. Significado e Conclusão

O trabalho KEO destaca que não existe uma solução única para o RAG em domínios críticos:

• Para raciocínio complexo, descoberta de padrões e compreensão sistêmica, a integração de Grafos de Conhecimento é superior, oferecendo contexto coerente e explicável.
• Para procedimentos locais e recuperação de fatos específicos, o RAG tradicional baseado em texto ainda é competitivo.

Impacto Prático:
O framework demonstra a viabilidade de implantar sistemas de IA seguros e locais em ambientes de alto risco (aviação, defesa, saúde), mitigando riscos de vazamento de dados e alucinações. O uso de KGs permite que modelos menores e locais atinjam desempenho comparável a modelos maiores em tarefas de raciocínio, facilitando a adoção responsável de IA em setores onde a precisão e a transparência são obrigatórias.

Limitações e Futuro:
O estudo reconhece a dependência de juízes baseados em LLMs (que podem ter viés) e a necessidade de validação humana final em aplicações críticas. Trabalhos futuros visam a adaptação para outros domínios (saúde, energia) e a integração com dados multimodais (esquemas, logs de sensores).