A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance

Este artigo apresenta e valida um assistente baseado em recuperação de informações que utiliza exclusivamente fontes regulatórias autoritativas para apoiar a avaliação de segurança, certificação e conformidade regulatória de sistemas de aeronaves não tripuladas, garantindo respostas rastreáveis e auditáveis que aceleram a preparação de documentos sem substituir o julgamento humano.

O essencial

Imagine que você precisa organizar uma festa muito grande e complexa (o voo de um drone), mas existem milhares de regras de segurança escritas em livros gigantescos e complicados. Se você errar uma única regra, a festa pode ser proibida ou, pior, alguém pode se machucar.

O papel que você leu descreve a criação de um "Assistente de Segurança para Drones" que funciona como um bibliotecário superinteligente e extremamente cauteloso.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Biblioteca do Caos

Antes desse assistente, as pessoas que trabalham com drones tinham que ler centenas de páginas de regras da aviação (como a SORA e PDRA) manualmente. Era como tentar encontrar uma agulha em um palheiro, onde o palheiro muda de tamanho toda semana.

• O risco: Se a pessoa esquecesse uma regra ou interpretasse mal um livro antigo, a avaliação de segurança estaria errada.
• O erro comum de IAs: IAs normais (como o ChatGPT comum) são como alunos que estudaram muito, mas às vezes "alucinam" (inventam fatos) ou usam livros de 10 anos atrás que já não são válidos. Em segurança de aviação, inventar uma regra é perigoso.

2. A Solução: O Bibliotecário com "Óculos de Raio-X"

Os autores criaram um sistema chamado RAG (Geração Aumentada por Recuperação). Pense nele como um bibliotecário que não sabe nada de memória, mas tem um poder especial:

• Ele não "lembra" nada: Ele não tem conhecimento embutido no cérebro dele sobre regras de voo.
• Ele consulta a fonte oficial: Quando você faz uma pergunta, ele vai imediatamente aos livros oficiais da aviação (a base de dados), acha o trecho exato, lê e só então responde.
• A Regra de Ouro: Se o livro não tiver a resposta, o assistente não inventa. Ele diz: "Não encontrei essa regra no livro oficial, por favor, verifique com um especialista".

3. Como Funciona na Prática (A Metáfora da Investigação)

Imagine que você é um detetive e o assistente é seu investigador particular.

• Pergunta: "Posso voar meu drone acima de uma multidão?"
• O Assistente (Investigador):
  1. Pesquisa: Ele abre a "Caixa de Evidências" (os documentos oficiais).
  2. Filtragem: Ele ignora 99% dos papéis e foca apenas nos 3 ou 4 parágrafos que falam sobre multidões.
  3. Citação: Ele escreve a resposta e cola um "Post-it" em cada frase, dizendo exatamente em qual página e linha ele encontrou aquela informação.
  4. Cautela: Se o livro diz "depende do tamanho do drone", ele não assume o tamanho. Ele pergunta: "Qual é o tamanho do seu drone? Sem isso, não posso responder."

4. Os Dois Tipos de Trabalho que Ele Faz

O papel descreve dois cenários principais onde esse assistente brilha:

• Cenário A: O Consultor de Chat (Conversacional)
  É como um chatbot. Você pergunta: "O que é uma avaliação de risco pré-definida?" e ele responde com base estrita no texto, mostrando o link do documento. É ótimo para tirar dúvidas rápidas sem perder tempo folheando PDFs.

• Cenário B: O Analista de Checklist (Estruturado)
  Aqui, você dá os dados do seu voo (ex: "drone de 2kg, voando à noite, em área rural") e ele preenche uma ficha técnica automática. Ele diz: "Com base nas regras, seu voo parece ser de 'Risco Baixo'". Mas, novamente, ele mostra exatamente quais regras o levaram a essa conclusão.

5. Por que isso é seguro? (O "Freio de Mão")

O segredo desse sistema é que ele foi desenhado para não ser o chefe.

• Não toma decisões finais: Ele é um assistente, não um juiz. Ele prepara o terreno, organiza as provas e aponta as regras, mas um ser humano (o avaliador de segurança) precisa dar o "OK" final.
• Rastreabilidade: Tudo o que ele diz tem uma "prova" anexada. Se você duvidar da resposta, pode clicar no link e ler o documento original. Nada é um "segredo de fábrica".
• Conservadorismo: Se ele não tem certeza, ele prefere ficar em silêncio ou pedir mais informações a arriscar uma resposta errada.

Resumo em uma Frase

Este papel apresenta um assistente de IA que age como um bibliotecário de aviação super rigoroso: ele só responde o que está escrito nos livros oficiais, mostra exatamente onde encontrou a resposta e nunca inventa nada, ajudando humanos a fazerem voos de drones mais seguros e rápidos, sem substituir a responsabilidade humana.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo, estruturado conforme solicitado, em português:

Título: Um Assistente de Linguagem Aumentado por Recuperação para Avaliação de Segurança e Conformidade Regulatória de Aeronaves Não Tripuladas

1. Problema e Motivação

O crescimento rápido da complexidade, escala e diversidade das operações de aeronaves não tripuladas (drones) tem aumentado significativamente a carga de trabalho para autoridades de aviação e stakeholders. O processo de avaliação de segurança e certificação (como a Specific Operations Risk Assessment - SORA e a Pre-defined Risk Assessment - PDRA) exige um esforço substancial para localizar passagens relevantes, cruzar requisitos entre documentos interconectados e compilar evidências.

O uso direto de Modelos de Linguagem de Grande Escala (LLMs) tradicionais nestes fluxos de trabalho regulados apresenta limitações críticas:

• Desatualização: O conhecimento do modelo é fixo no momento do treinamento, tornando-se obsoleto conforme as normas evoluem.
• Alucinações: Modelos podem gerar afirmações plausíveis, mas sem suporte em fontes autoritativas.
• Falta de Rastreabilidade: A ausência de proveniência vinculada a passagens regulatórias específicas impede a auditoria e a responsabilização, requisitos fundamentais em segurança de aviação.
• Riscos de Ajuste Fino (Fine-tuning): O ajuste fino para domínio específico pode levar ao "esquecimento catastrófico", aumentar o risco de alucinações e dificultar a governança e o rollback de atualizações.

2. Metodologia

O artigo propõe uma arquitetura de Geração Aumentada por Recuperação (RAG) estritamente controlada, projetada para separar o armazenamento de evidências da geração de linguagem. O sistema não substitui o julgamento humano, mas atua como suporte à decisão.

Principais Componentes Técnicos:

• Engenharia de Documentos e Pré-processamento:

  • Fonte primária: Certification Specifications for Unmanned Aircraft Systems (CS-UAS) da EASA.
  • Fragmentação Manual (Chunking): Em vez de segmentação automática, o conteúdo é dividido manualmente por artigos, meios aceitáveis de conformidade (AMC) e entradas de material geral para preservar unidades legalmente significativas.
  • Tratamento de Tabelas: Tabelas são convertidas em texto narrativo coeso usando um LLM (ChatGPT 5.2) para preservar associações de células e notas de rodapé, evitando inconsistências. Figuras são excluídas por falta de contexto normativo legível por máquina.
  • Metadados: Cada bloco (chunk) é enriquecido com título, resumo e palavras-chave.

• Recuperação Híbrida e Indexação:

  • Embeddings: Utilização do modelo all-MiniLM-L6-v2 para gerar vetores densos. A string de indexação combina o título (repetido duas vezes para dar peso) e o texto principal.
  • Indexação: Uso do FAISS (Facebook AI Similarity Search) com índices exatos (Flat) e aproximados (HNSW).
  • Recuperação Dupla: Combinação de recuperação densa (semântica) e esparsa (BM25 para precisão lexical).
  • Fusão: Os resultados são fundidos usando Reciprocal Rank Fusion (RRF) para equilibrar cobertura semântica e precisão lexical.
  • Controle de Diversidade: Aplicação de Maximal Marginal Relevance (MMR) para reduzir redundância entre os blocos recuperados.

• Reranking e Filtragem:

  • Um reranker neural (baseado em ColBERT) é aplicado para refinar a ordem dos candidatos.
  • Um método de "cotovelo" (elbow method) é usado para filtrar a cauda de pontuação baixa, selecionando apenas os blocos de evidência mais relevantes (top-k) para o contexto do LLM.

• Geração Controlada e Restrições:

  • LLM Backend: GPT-oss-20B (ou similar) com parâmetros fixos (temperatura baixa) para reprodutibilidade.
  • Restrições de Saída: O modelo é instruído a responder apenas com base no contexto recuperado. Se a evidência for insuficiente, o modelo deve declarar explicitamente a lacuna e não especular.
  • Rastreabilidade: Cada afirmação gerada deve ser vinculada a citações de blocos específicos (identificadores, páginas).
  • Modos de Interação:
    1. Assistente Conversacional: Para perguntas regulatórias e navegação de documentos.
    2. Fluxo de Trabalho Orientado a Indicadores: Geração de saídas estruturadas (JSON) para tarefas de avaliação de segurança (ex: classificação de risco inicial, caminho regulatório), com entrada de parâmetros operacionais restritos.

3. Contribuições Principais

• Arquitetura de Assistência Bounded (Limitada): Demonstração de como um assistente pode operar estritamente dentro de um corpus autoritativo, evitando alucinações e mantendo a responsabilidade humana.
• Pipeline de Recuperação Híbrida e Controlada: Integração de recuperação densa/esparsa, reranking neural e filtragem baseada em "cotovelo" para maximizar a precisão em contextos regulatórios.
• Mecanismos de Auditoria e Rastreabilidade: Implementação de citações obrigatórias e logs completos do contexto de entrada, permitindo que especialistas verifiquem a base de cada resposta.
• Validação em Casos de Uso Reais: Avaliação do sistema em dois cenários: (1) Assistente Regulatório (perguntas e respostas) e (2) Tarefa de Avaliação de Segurança (geração de indicadores estruturados).
• Tratamento de Incerteza: Estratégias explícitas para o modelo recusar respostas ou sinalizar lacunas de evidência em vez de inventar dados.

4. Resultados

Os resultados foram avaliados através de experimentos controlados com as duas use cases:

• Assistente Regulatório (Conversacional):

  • Precisão de Recuperação: Para consultas de correspondência direta, a recuperação foi perfeita (100% Hit@1). Para paráfrases e perguntas reestruturadas, a precisão caiu (75-83%), indicando desafios na reformulação semântica.
  • Fundamentação (Grounding): Mesmo com recuperação correta, apenas 50% das respostas foram totalmente fundamentadas nas citações corretas. Isso revela que a recuperação precisa não garante que o LLM utilize corretamente a evidência recuperada.
  • Falhas Observadas: Tendência a respostas incompletas quando a evidência estava fragmentada em múltiplos blocos e suposições implícitas em perguntas ambíguas.

• Tarefa de Avaliação de Segurança (Indicadores Estruturados):

  • Consistência: A consistência de valor (saída categórica) foi alta (média de 91,7%), com "Profundidade de Avaliação Esperada" atingindo 100%.
  • Precisão: A precisão geral contra ground truth manual foi de 81,8%.
    • Orientação de Risco Aéreo: 80,3%.
    • Orientação de Risco Terrestre: 80,3%.
    • Caminho Regulatório Provável: 66,6% (o mais desafiador devido à sensibilidade a limites de interpretação).
  • Estabilidade: A variação na explicação textual foi maior do que na classificação categórica, indicando que o modelo converge para a mesma decisão, mas varia na justificação.

5. Significância e Implicações

• Segurança e Conformidade: O trabalho estabelece que, em ambientes críticos de segurança, a recuperação de evidências e as regras de geração conservadora são requisitos de segurança de primeira ordem, não apenas otimizações de desempenho.
• Papel Humano: O sistema reforça que a responsabilidade final pelas conclusões de certificação deve permanecer com assessores humanos qualificados. A ferramenta acelera a preparação de documentos e a revisão, mas não automatiza aprovações.
• Direções Futuras: O artigo sugere que a integração de Grafos de Conhecimento (GraphRAG) pode melhorar a recuperação multi-hop para requisitos compostos, mas deve ser feita com cautela para não introduzir complexidade de governança excessiva.
• Guia Prático: Oferece diretrizes operacionais para a integração de assistentes RAG em fluxos de trabalho de aviação, enfatizando o monitoramento de recall, a diversidade de recuperação e a recusa explícita quando as evidências são fracas.

Em resumo, o artigo valida a viabilidade de assistentes de IA para conformidade regulatória de drones, desde que projetados com restrições rigorosas de evidência, rastreabilidade total e uma postura conservadora em relação à incerteza.