Resumen Técnico: IA Agéntica y Generativa para Inteligencia de Fuentes Abiertas e Investigaciones Cibernéticas

1. Planteamiento del Problema

La rápida proliferación de información digital disponible públicamente ha hecho que el análisis tradicional de Inteligencia de Fuentes Abiertas (OSINT) manual sea insuficiente para los requisitos contemporáneos de ciberseguridad e investigación cibernética. Si bien los Modelos de Lenguaje de Gran Escala (LLM) y los sistemas de IA agéntica ofrecen el potencial para automatizar el razonamiento de múltiples pasos, la selección de herramientas y la síntesis de inteligencia, existe un desequilibrio estructural crítico en la literatura: las demostraciones de capacidad han superado sustancialmente a la infraestructura de evaluación.

El campo sufre tres déficits primarios:

1. Brecha de Evaluación: Se proponen y describen sistemas, pero carecen de puntos de referencia (benchmarks) estandarizados, conjuntos de datos reproducibles y condiciones de prueba adversarias.
2. Brecha de Validación de Alucinaciones: Aunque la alucinación es ampliamente reconocida como una preocupación principal de fiabilidad en más de veinte estudios, se mide empíricamente en solo un sistema específico de OSINT (una tasa del 4% bajo condiciones favorables).
3. Desequilibrio de Flujo de Trabajo: La investigación favorece fuertemente las etapas de recolección y análisis, mientras que la verificación, el reporte, la difusión y el apoyo a la toma de decisiones permanecen sistemáticamente subexplorados.

Además, existe una tensión entre el despliegue basado en la nube (que ofrece escalabilidad pero introduce riesgos de seguridad operativa y de GDPR) y el despliegue en las instalaciones o on-premise (que asegura la soberanía de los datos pero puede limitar la escala del modelo). Del mismo modo, el rendimiento en los puntos de referencia (por ejemplo, la recuperación de conocimiento de opción múltiple) a menudo no logra predecir la preparación operativa en flujos de trabajo de inteligencia de amenazas complejos y abiertos.

2. Metodología

Esta revisión sistemática de la literatura sigue los principios de estilo PRISMA para construir y analizar un corpus de 74 estudios únicos publicados entre 2014 y 2026.

• Estrategia de Búsqueda: El corpus fue ensamblado mediante curación experta a través de ACM Digital Library, IEEE Xplore, arXiv, Google Scholar y repositorios institucionales, guiado por una cadena de búsqueda conceptual que cubre OSINT, LLM, IA agéntica, RAG y dominios relacionados.
• Criterios de Inclusión: Se incluyeron estudios si aplicaban LLM, IA generativa o sistemas agénticos a OSINT, CTI (Inteligencia de Amenazas Cibernéticas) o Investigación Cibernética, o si realizaban contribuciones metodológicas directas (por ejemplo, ingeniería de prompts, fine-tuning o marcos de evaluación) transferibles a estos dominios.
• Niveles Analíticos: Los 74 estudios se clasificaron en cuatro niveles:
  • Primarios/Centrales (37 estudios): Aplicaciones directas de IA a tareas de OSINT/CTI.
  • Soporte Metodológico (11 estudios): Contribuciones a prompting, ajuste fino o benchmarking.
  • Contexto/Antecedentes (22 estudios): Artículos fundacionales de LLM (por ejemplo, leyes de escala, cadena de pensamiento).
  • Excluidos/Periféricos (4 estudios): Trabajos no relevantes para OSINT o IA.
• Extracción de Datos: Se aplicó una matriz de evidencia estructurada de 21 campos a los 48 artículos primarios y metodológicos. Los campos clave incluyeron el estado de medición de alucinaciones, métricas de evaluación, etapas del flujo de trabajo cubiertas y robustez adversaria.
• Síntesis: La revisión emplea una síntesis temática y comparativa en lugar de un metaanálisis cuantitativo, organizando los hallazgos en una taxonomía de 11 categorías y mapeándolos contra el ciclo de vida del flujo de trabajo de OSINT.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones primarias a la literatura:

1. Taxonomía de 11 Categorías: Organiza la literatura en una taxonomía distinta que separa la IA Agéntica (selección autónoma de herramientas, razonamiento de múltiples pasos) del simple prompting de LLM. Las categorías abarcan:
   • Fundamentos (LLMs, Transformers).
   • Flujos de Trabajo de OSINT (Recolección, Extracción).
   • Arquitecturas Agénticas (ReAct, Orquestación de Herramientas).
   • Infraestructura de Conocimiento (RAG, Grafos de Conocimiento).
   • Aplicaciones de Dominio (CTI, Dark Web).
   • Riesgos y Ética (Alucinación, Ataques Adversarios).
2. Identificación de la Brecha de Validación de Alucinaciones: La revisión establece como hallazgo a nivel de corpus que, si bien la alucinación es citada como un riesgo importante en >20 estudios, solo un estudio [6] proporciona una tasa de alucinación empírica y de extremo a extremo (4%) para un sistema específico de OSINT. Todas las demás mediciones de error se derivan de QA de dominio general o cadenas de razonamiento, no de procesos específicos de OSINT.
3. Análisis de Cobertura del Flujo de Trabajo: La revisión mapea el corpus al ciclo de vida de OSINT, revelando un desequilibrio estructural. La Recolección y el Análisis están bien atendidos, mientras que la Verificación, el Reporte, la Difusión y el Apoyo a la Decisión están significativamente subexplorados, creando una brecha entre la capacidad técnica y la fiabilidad de la inteligencia operativa.
4. Síntesis de Riesgo Adversario: Sintetiza la evidencia que muestra que cada capacidad agéntica importante tiene un riesgo de doble uso adversario correspondiente (por ejemplo, envenenamiento de Grafos de Conocimiento, generación de CTI adversaria) que está documentado en la literatura de riesgos pero nunca se aborda en el diseño de evaluación de los artículos de los sistemas mismos.

4. Resultados Clave y Hallazgos

A. Capacidades Técnicas vs. Realidad Operativa

• Recolección y Extracción: Los LLM demuestran un alto rendimiento en clasificación binaria (F1 ~0.94 para GPT-4 en datos de CTI) y extracción básica de entidades. Sin embargo, el Reconocimiento de Entidades Nombradas (NER) para entidades específicas de ciberseguridad (IPs, CVEs, familias de malware) cae aproximadamente un 25% por debajo de los modelos especializados preentrenados en entornos zero-shot/few-shot.
• Sistemas Agénticos: Los sistemas que utilizan el paradigma ReAct (Reason + Act) pueden orquestar herramientas de forma autónoma (Shodan, Maltego, VirusTotal) e integrar Grafos de Conocimiento (Neo4j) y fuentes de la Dark Web (Tor). Sin embargo, estos sistemas se evalúan exclusivamente bajo condiciones benignas, asumiendo que los datos de entrada son genuinos.
• Alucinación: La única medición empírica de alucinación en un sistema de OSINT es del 4% (en una arquitectura aumentada con RAG utilizando un conjunto de datos privado y curado). Esta cifra representa un suelo empírico bajo condiciones favorables, no un benchmark transferible.
• Discrepancia de Evaluación: Existe un marcado contraste entre el rendimiento en los benchmarks y el rendimiento operativo. CyberMetric [17] muestra que GPT-4o alcanza una precisión del 91.25% en preguntas de opción múltiple sobre ciberseguridad (superando a expertos humanos), mientras que CyberThreat-Eval [3], utilizando un flujo de trabajo de analista realista de tres etapas (triaje, búsqueda profunda, redacción de informes), encuentra que ningún LLM alcanza un rendimiento aceptable para un analista en atribución de amenazas complejas o calidad de informes.

B. Riesgos y Vulnerabilidades

• CTI Adversaria: El ajuste fino de un modelo GPT-2 modesto con datos de fuentes OSINT puede generar inteligencia de amenazas falsa que los cazadores de amenazas profesionales juzgan como genuina en tasas comparables a la CTI auténtica.
• Envenenamiento de Grafos de Conocimiento: El contenido adversario ingerido a través de tuberías estándar de NER puede corromper los Grafos de Conocimiento, convirtiendo los mecanismos de fundamentación (RAG) en mecanismos de amplificación de errores.
• Privacidad y Legalidad: El despliegue de APIs basadas en la nube plantea riesgos de GDPR para datos personales. La recolección automatizada de la Dark Web carece de marcos legales para la cadena de custodia y admisibilidad.
• Supervisión Humana: Los analistas con alta experiencia en CTI suelen tener una familiaridad baja con los LLM (mediana de 2/5), y los mecanismos actuales de supervisión humana no están validados empíricamente para detectar contenido adversario o alucinaciones de manera efectiva.

C. Arquitectura de Despliegue

La revisión no encuentra un benchmark abierto y estandarizado para la comparación entre estudios. En consecuencia, la arquitectura de despliegue más defendible a corto plazo es un modelo de copiloto humano-IA estructurado. En este modelo:

• Los LLM apoyan la recolección, el triaje y el análisis preliminar.
• Los analistas humanos retienen la responsabilidad de la verificación, el reporte y el apoyo final a la decisión.
• Esta arquitectura es necesaria dada la falta de fiabilidad validada, seguimiento de procedencia y robustez adversaria en los sistemas autónomos actuales.

5. Significación y Reivindicaciones

El artículo afirma que su significación radica en cambiar el enfoque del campo de la demostración de capacidad hacia la fiabilidad validada. Argumenta que la literatura actual se caracteriza por un "desequilibrio estructural" donde la ambición arquitectónica supera a la infraestructura metodológica requerida para un despliegue operativo responsable.

La revisión no argumenta contra el uso de LLM en OSINT, sino que sostiene que la capacidad sin fiabilidad validada, seguimiento de procedencia, salvaguardas éticas y supervisión humana estructurada es insuficiente. Identifica la brecha de validación de alucinaciones como el fallo central de la cultura de evaluación del campo.

Basándose en la evidencia, los autores proponen una agenda de investigación de diez puntos para abordar estas brechas, que incluye:

1. Protocolos estandarizados de medición de alucinaciones.
2. Conjuntos de pruebas (benchmarks) de IA-OSINT abiertos y adoptados por la comunidad.
3. Evaluación de la fiabilidad de las APIs y la seguridad de la orquestación bajo condiciones operativas.
4. Desarrollo de conjuntos de datos multilingües y multiplataforma.
5. Metodologías de recolección de la Dark Web legalmente admisibles.
6. normas de divulgación responsable para la investigación de IA ofensiva/defensiva.
7. Capacitación estructurada en alfabetización de LLM para profesionales.
8. Evaluación empírica de la efectividad de la supervisión humana.
9. Repositorios de código y conjuntos de datos abiertos obligatorios.
10. Marcos integrales de gobernanza y legalidad.

El artículo concluye que la IA Agéntica y Generativa para OSINT es una capacidad presente esperando ser validada responsablemente, y que el camino a seguir requiere un cambio de la demostración técnica hacia la confianza operativa mediante una evaluación rigurosa, adversaria y reproducible.