Resumo Técnico: IA Agêntica e Generativa para Inteligência de Fontes Abertas e Investigações Cibernéticas

1. Declaração do Problema

A rápida proliferação de informações digitais disponíveis publicamente tornou a análise tradicional de Inteligência de Fontes Abertas (OSINT) manual insuficiente para os requisitos contemporâneos de cibersegurança e investigação cibernética. Embora os Modelos de Linguagem de Grande Escala (LLMs) e os sistemas de IA Agêntica ofereçam o potencial para automatizar o raciocínio de múltiplas etapas, a seleção de ferramentas e a síntese de inteligência, existe um desequilíbrio estrutural crítico na literatura: as demonstrações de capacidade superaram substancialmente a infraestrutura de avaliação.

O campo sofre de três déficits primários:

1. Lacuna de Avaliação: Sistemas são propostos e descritos, mas carecem de benchmarks padronizados, conjuntos de dados reproduzíveis e condições de teste adversariais.
2. Lacuna de Validação de Alucinação: Embora a alucinação seja amplamente reconhecida como uma preocupação de confiabilidade primária em mais de vinte estudos, ela é medida empiricamente em apenas um sistema específico de OSINT (uma taxa de 4% sob condições favoráveis).
3. Desequilíbrio de Fluxo de Trabalho: A pesquisa favorece fortemente as etapas de coleta e análise, enquanto a verificação, o relatório, a disseminação e o suporte à decisão permanecem sistematicamente subexplorados.

Além disso, há uma tensão entre a implantação baseada em nuvem (que oferece escalabilidade, mas introduz riscos de segurança operacional e GDPR) e a implantação on-premise (que garante a soberania dos dados, mas pode limitar a escala do modelo). Da mesma forma, o desempenho em benchmarks (por exemplo, recall de conhecimento de múltipla escolha) frequentemente falha em prever a prontidão operacional em fluxos de trabalho de inteligência de ameaças complexos e abertos.

2. Metodologia

Esta revisão sistemática da literatura segue os princípios do estilo PRISMA para construir e analisar um corpus de 74 estudos únicos publicados entre 2014 e 2026.

• Estratégia de Busca: O corpus foi reunido via curadoria especializada através do ACM Digital Library, IEEE Xplore, arXiv, Google Scholar e repositórios institucionais, guiado por uma string de busca conceitual cobrindo OSINT, LLMs, IA agêntica, RAG e domínios relacionados.
• Critérios de Inclusão: Os estudos foram incluídos se aplicaram LLMs, IA generativa ou sistemas agênticos à OSINT, CTI (Inteligência de Ameaças Cibernéticas) ou Investigação Cibernética, ou se fizeram contribuições metodológicas diretas (por exemplo, engenharia de prompt, frameworks de avaliação) transferíveis para esses domínios.
• Tiers Analíticos: Os 74 estudos foram classificados em quatro níveis:
  • Primário/Principal (37 estudos): Aplicações diretas de IA a tarefas de OSINT/CTI.
  • Suporte Metodológico (11 estudos): Contribuições para prompting, fine-tuning ou benchmarking.
  • Contexto/Fundamentação (22 estudos): Artigos fundamentais de LLM (ex: leis de escala, chain-of-thought).
  • Excluídos/Periféricos (4 estudos): Trabalhos não relevantes para OSINT ou IA.
• Extração de Dados: Uma matriz de evidências estruturada de 21 campos foi aplicada aos 48 artigos principais e metodológicos. Campos chave incluíram status de medição de alucinação, métricas de avaliação, etapas de fluxo de trabalho cobertas e robustez adversária.
• Síntese: A revisão emprega síntese temática e comparativa em vez de metanálise quantitativa, organizando os achados em uma taxonomia de 11 categorias e mapeando-os contra o ciclo de vida do fluxo de trabalho de OSINT.

3. Principais Contribuições

O artigo apresenta quatro contribuições primárias para a literatura:

1. Taxonomia de 11 Categorias: Organiza a literatura em uma taxonomia distinta separando a IA Agêntica (seleção autônoma de ferramentas, raciocínio de múltiplas etapas) do simples prompting de LLM. As categorias abrangem:
   • Fundamentos (LLMs, Transformers).
   • Fluxos de Trabalho de OSINT (Coleta, Extração).
   • Arquiteturas Agênticas (ReAct, Orquestração de Ferramentas).
   • Infraestrutura de Conhecimento (RAG, Grafos de Conhecimento).
   • Aplicações de Domínio (CTI, Dark Web).
   • Riscos e Ética (Alucinação, Ataques Adversários).
2. Identificação da Lacuna de Validação de Alucinação: A revisão estabelece como um achado de nível de corpus que, embora a alucinação seja citada como um grande risco em >20 estudos, apenas um estudo [6] fornece uma taxa de alucinação empírica e de ponta a ponta (4%) para um sistema específico de OSINT. Todas as outras medições de erro são derivadas de QA de domínio geral ou cadeias de raciocínio, não de pipelines específicos de OSINT.
3. Análise de Cobertura de Fluxo de Trabalho: A revisão mapeia o corpus para o ciclo de vida de OSINT, revelando um desequilíbrio estrutural. Coleta e Análise são bem servidas, enquanto Verificação, Relatório, Disseminação e Suporte à Decisão são significativamente subexplorados, criando um gap entre a capacidade técnica e a confiabilidade da inteligência operacional.
4. Síntese de Risco Adversário: Sintetiza evidências mostrando que cada grande capacidade agêntica possui um risco correspondente de uso dual adversário (ex: envenenamento de Grafo de Conhecimento, geração de CTI adversária) que é documentado na literatura de risco, mas nunca abordado no design de avaliação dos próprios artigos de sistemas.

4. Principais Resultados e Achados

A. Capacidades Técnicas vs. Realidade Operacional

• Coleta e Extração: LLMs demonstram alto desempenho em classificação binária (F1 ~0.94 para GPT-4 em dados de CTI) e extração básica de entidades. No entanto, o Reconhecimento de Entidades Nomeadas (NER) para entidades específicas de cibersegurança (IPs, CVEs, famílias de malware) fica aproximadamente 25% abaixo de modelos especializados pré-treinados em configurações zero-shot/few-shot.
• Sistemas Agênticos: Sistemas utilizando o paradigma ReAct (Reason + Act) podem orquestrar ferramentas autonomamente (Shodan, Maltego, VirusTotal) e integrar Grafos de Conhecimento (Neo4j) e fontes da Dark Web (Tor). No entanto, esses sistemas são avaliados exclusivamente sob condições benignas, assumindo que os dados de entrada são genuínos.
• Alucinação: A única medição empírica de alucinação em um sistema de OSINT é de 4% (em uma arquitetura aumentada por RAG usando um conjunto de dados privado e curado). Este número representa um piso empírico sob condições favoráveis, não um benchmark transferível.
• Discrepância de Avaliação: Existe um contraste gritante entre o desempenho em benchmarks e o desempenho operacional. O CyberMetric [17] mostra o GPT-4o alcançando 91.25% de precisão em questões de cibersegurança de múltipla escolha (superando especialistas humanos), enquanto o CyberThreat-Eval [3], utilizando um fluxo de trabalho de analista realista de três estágios (triagem, busca profunda, redação de relatório), constata que nenhum LLM atinge um desempenho aceitável para um analista em atribuição de ameaças complexas ou qualidade de relatório.

B. Riscos e Vulnerabilidades

• CTI Adversária: O ajuste fino (fine-tuning) de um modelo GPT-2 modesto em dados de origem OSINT pode gerar inteligência de ameaças falsa que profissionais de caça de ameaças (threat hunters) julgam como genuína em taxas comparáveis à CTI autêntica.
• Envenenamento de Grafo de Conhecimento: Conteúdo adversário ingerido via pipelines padrão de NER pode corromper Grafos de Conhecimento, transformando mecanismos de ancoragem (RAG) em mecanismos de amplificação de erro.
• Privacidade e Jurídico: A implantação de API baseada em nuvem acarreta riscos de GDPR para dados pessoais. A coleta automatizada da Dark Web carece de frameworks legais para cadeia de custódia e admissibilidade.
• Supervisão Humana: Analistas com alta experiência em CTI frequentemente possuem baixa familiaridade com LLMs (mediana 2/5), e os mecanismos atuais de supervisão humana não são empiricamente validados para detectar conteúdo adversário ou alucinações de forma eficaz.

C. Arquitetura de Implantação

A revisão não encontra um benchmark aberto padronizado para comparação entre estudos. Consequentemente, a arquitetura de implantação mais defensável a curto prazo é um modelo de copiloto humano-IA estruturado. Neste modelo:

• LLMs apoiam a coleta, triagem e análise preliminar.
• Analistas humanos retêm a responsabilidade pela verificação, relatório e suporte à decisão final.
• Esta arquitetura é necessária dada a falta de validade de confiabilidade, rastreamento de proveniência e robustez adversária nos sistemas autônomos atuais.

5. Significância e Alegações

O artigo alega que sua significância reside na mudança do foco do campo da demonstração de capacidade para a confiabilidade validada. Argumenta-se que a literatura atual é caracterizada por um "desequilíbrio estrutural" onde a ambição arquitetônica ultrapassa a infraestrutura metodológica necessária para uma implantação operacional responsável.

A revisão não argumenta contra o uso de LLMs em OSINT, mas afirma que capacidade sem confiabilidade validada, rastreamento de proveniência, salvaguardas éticas e supervisão humana estruturada é insuficiente. Ela identifica a lacuna de validação de alucinação como a falha central da cultura de avaliação do campo.

Com base nas evidências, os autores propõem uma agenda de pesquisa de dez pontos para abordar essas lacunas, incluindo:

1. Protocolos padronizados de medição de alucinação.
2. Suítes de benchmarks de OSINT adotadas pela comunidade e abertas.
3. Avaliação de confiabilidade de API e segurança de orquestração sob condições operacionais.
4. Desenvolvimento de conjuntos de dados multilíngues e multiplataforma.
5. Metodologias de coleta da Dark Web legalmente admissíveis.
6. Normas de divulgação responsável para pesquisa de IA ofensiva/defensiva.
7. Treinamento estruturado de alfabetização em LLM para profissionais.
8. Avaliação empírica da eficácia da supervisão humana.
9. Repositórios de código e conjuntos de dados abertos obrigatórios.
10. Frameworks abrangentes de governança e legalidade.

O artigo conclui que a IA Agêntica e Generativa para OSINT é uma capacidade presente aguardando ser responsavelmente validada, e o caminho a seguir exige uma mudança da demonstração técnica para a confiança operacional através de uma avaliação rigorosa, adversária e reproduzível.