Didact: A Cross-Domain Capability Discovery System for Defence

Resumo Técnico: Didact – Um Sistema de Descoberta de Capacidades Transdomínio para Defesa

Problema
Políticos e especialistas em defesa enfrentam desafios significativos ao monitorar pesquisas que evoluem rapidamente e ao alinhá-las com prioridades operacionais e estratégicas. As fontes de informação atuais estão fragmentadas em formatos heterogêneos, repositórios distintos e fluxos de atualização isolados. Essa fragmentação prejudica a consciência situacional; embora os analistas possam localizar artefatos individuais, sintetizar o panorama mais amplo de prioridades, organizações e tecnologias é difícil. Os sistemas de Geração Aumentada de Recuperação (RAG) existentes normalmente abordam coleções de documentos únicos com consultas de busca de fatos estreitas, carecendo da capacidade de sintetizar através de fontes heterogêneas (por exemplo, relatórios de políticas não estruturados e metadados acadêmicos estruturados) enquanto mantêm o controle rigoroso por nível de fonte e a rastreabilidade de evidências exigidos em contextos de defesa de alto risco.

Metodologia e Arquitetura
O Didact é um sistema protótipo projetado para integrar relatórios de defesa e documentos de política australianos publicamente disponíveis com um grafo de conhecimento construído especificamente a partir de publicações de pesquisa australianas (metadados do OpenAlex). O sistema emprega um pipeline de RAG composto, orquestrado por um motor de agente baseado em LangGraph.

• Fontes de Dados e Armazenamento: A base de conhecimento consiste em duas modalidades distintas:
  1. Documentos de Defesa Curados: Relatórios e lançamentos de políticas publicamente disponíveis, particionados em níveis de acesso "público" e "classificado" para simular modelos de credenciamento de segurança. Eles são armazenados em lojas de vetores Chroma separadas para garantir o isolamento da fonte.
  2. Grafo de Conhecimento de Pesquisa: Um grafo baseado em Neo4j que representa publicações como nós vinculados a autores, organizações, locais e tags de domínio. Este grafo é enriquecido com filtros de autoria australiana e códigos de país institucionais.
• Orquestração e Recuperação: O sistema utiliza um fluxo conceitual de três nós:
  1. QueryResponder: Determina se uma consulta requer chamadas de ferramentas ou se pode ser respondida diretamente.
  2. ToolNode: Executa ferramentas de recuperação específicas. Ele suporta recuperação vetorial (busca de similaridade densa sobre fragmentos de documentos) e recuperação de grafo (operações estruturadas como encontrar especialistas por tópico, encontrar locais ou buscar publicações de autores).
  3. Enricher: Realiza uma passagem de pré-processamento para extrair palavras-chave relevantes ao domínio a partir das consultas do usuário, comparando-as com tags de taxonomia no grafo de conhecimento para preparar o agente para a recuperação de grafos, se necessário.
  4. ResponseGenerator: Sintetiza os resultados das ferramentas em uma resposta final com citações.
• Trilho de Evidência (Evidence Rail): Um componente central da interface que visualiza a evidência recuperada. Para cada resposta, exibe cartões de fonte para fragmentos de documentos e nós de grafo, juntamente com uma visualização de grafo interativa (usando Cytoscape.js) mostrando as relações entre as entidades recuperadas. Isso permite que os usuários rastreiem resumos gerados diretamente até a evidência subjacente.
• Segurança e Configuração: O sistema impõe autenticação via chaves de acesso que determinam o escopo de recuperação (público vs. classificado). Um portal de administração permite a configuração de provedores de modelos, prompts de sistema e reindexação, separando a descoberta do usuário final dos controles operacionais.

Principais Contribuições

1. RAG Composto de Múltiplas Fontes: O Didact demonstra uma abordagem inovadora para a descoberta de capacidades ao combinar a recuperação de documentos não estruturados com a recuperação de grafos estruturados, permitindo que o sistema responda tanto a perguntas de busca de evidências (documentos) quanto a perguntas de descoberta (pesquisadores, organizações, tópicos).
2. Separação de Fonte e Controle de Acesso: Ao contrário dos sistemas RAG padrão, o Didact mantém fronteiras estritas entre repositórios de documentos baseados em níveis de acesso, garantindo que a recuperação respeite as restrições de credenciamento de segurança típicas de aplicações de defesa.
3. Interface Interativa Centrada em Evidências: O "Trilho de Evidência" transforma citações de listas estáticas em um espaço de trabalho inspecionável. Ele permite que os usuários interajam com as relações do grafo e expandam os cartões de fonte, fornecendo uma trilha de auditoria transparente da resposta gerada até a evidência específica e as relações que a informaram.
4. Adaptabilidade Modular: A arquitetura é projetada para ser adaptável, com componentes de recuperação modulares e backends de LLM configuráveis, permitindo a integração de novos domínios com configuração mínima.

Resultados de Avaliação
O sistema foi avaliado usando um benchmark de 50 pares de pergunta-resposta (DoRA-QnA50) através de cinco tipos de tarefas (fornecer, encontrar, gerar, explicar, resumir) e cinco personas de usuário.

• Precisão de Recuperação: O Didact alcançou um score Hit@1 de 0,680 (subindo para 0,900 para tarefas de sumarização) e um Hit@2 de 0,760. As 16 falhas foram atribuídas majoritariamente à adjacência temática dentro de séries de documentos, em vez de falha de recuperação.
• Qualidade do Contexto: A Recall de Contexto foi de 0,904, indicando que o conteúdo recuperado cobriu a resposta de ouro em 90% dos casos. A Precisão de Contexto foi de 0,780, e a Relevância da Resposta foi de 0,882.
• Desempenho: O sistema produziu zero falhas (fallbacks) em todas as consultas. A latência média de resposta do LLM foi de 2,17 segundos (percentil 95: 2,91 segundos), com tempos de resposta de tempo real razoáveis observados em diversos cenários de uso.

Significância e Alegações
O artigo posiciona o Didact como um protótipo inovador para o implante de IA na descoberta de capacidades transdomínio dentro do setor de defesa. Sua significância reside em contextualizar sistemas RAG típicos para ambientes de alto risco, abordando três necessidades específicas: (1) identificar a necessidade de cobertura de múltiplos domínios, (2) manter a separação estrita de fontes e controle de acesso, e (3) fornecer uma interface de usuário detalhada e centrada em evidências para auditar citações e relações de grafo. Os autores alegam que o Didact efetivamente preenche a lacuna entre conjuntos de dados de defesa fragmentados e informações de pesquisa, oferecendo insights rápidos e baseados em evidências que são rastreáveis e auditáveis para tomadores de decisão seniores. Embora desenvolvido especificamente para o contexto australiano, os autores observam sua potencial adaptabilidade para outros domínios onde o conhecimento é similarmente fragmentado.