Resumen Técnico: Hacia la Investigación Profunda Multimodal Verificable

Enunciado del Problema

Aunque los Modelos de Lenguaje Grande (LLM) y los Modelos Visuales-Lingüísticos (VLM) han avanzado los agentes autónomos desde la "Búsqueda Profunda" (recuperar respuestas factuales concisas) hasta la "Investigación Profunda" (sintetizar evidencia dispersa en informes de formato largo), persisten desafíos significativos en la investigación profunda multimodal verificable.

El artículo identifica dos cuellos de botella principales en los sistemas actuales:

1. Apertura: A diferencia de las tareas de dominio cerrado con verdad fundamental determinista, la investigación profunda requiere búsquedas iterativas de múltiples rondas en dominios abiertos donde los resultados no pueden verificarse de manera directa. Las pipelines existentes a menudo carecen de verificación por etapas, permitiendo que el ruido de las etapas iniciales se acumule en texto poco fiable factualmente y visuales desalineados.
2. Entrelazamiento Multimodal: Los informes profesionales requieren la integración estrecha de argumentos textuales con evidencia visual (por ejemplo, gráficos, diagramas, capturas de pantalla). Los marcos actuales a menudo tratan la integración de imágenes como un paso decorativo posterior en lugar de un componente central de la investigación, lo que resulta en evidencia visual débilmente vinculada a los argumentos textuales y que no cumple con los estándares profesionales de entrelazamiento.

Los enfoques existentes luchan por lograr conjuntamente el razonamiento profundo de múltiples saltos, una amplia cobertura de información y la generación de informes de imagen-texto creíbles y entrelazados.

Metodología: PTAH

Los autores proponen PTAH (nombrado en honor a Ptah, la deidad creadora del antiguo Egipto), un sistema multiagente diseñado para la investigación profunda multimodal creíble. En lugar de tratar la generación de informes como un problema monolítico, PTAH orquesta un flujo de trabajo de ejecución controlado a través de tres etapas distintas: Planificación, Investigación y Redacción, gobernado por un Agente Verificador que actúa como una función de aceptación durante todo el ciclo de vida.

1. Etapa de Planificación: Inicialización del Estado de Investigación Consciente Visual

• Agente Planificador: Invoca iterativamente herramientas de búsqueda de texto para explorar el conocimiento del dominio. Genera un plan estructurado que contiene una visión general de alto nivel, objetivos por sección, tipos de evidencia esperados y especificaciones visuales explícitas. Estas especificaciones definen dónde deben aparecer los elementos visuales, su función comunicativa y la forma requerida (por ejemplo, gráficos frente a capturas de pantalla).
• Verificación: El plan pasa por una verificación dual:
  • Basada en reglas: Verifica protocolos de interacción, restricciones de uso de herramientas y formato JSON.
  • Basada en LLM: Evalúa la cobertura de consultas, la coherencia de las secciones y la relevancia del argumento visual.
  • Los planes fallidos se revisan antes de proceder.

2. Etapa de Investigación: Recolección Paralela de Evidencia y Memoria de Trabajo Visual

• Agentes Investigadores: Para cada sección planificada, agentes independientes realizan investigaciones utilizando herramientas de búsqueda y recuperación. Producen paquetes estructurados que contienen hallazgos, evidencia fundamentada en afirmaciones, datos numéricos, tablas y referencias.
• Memoria de Trabajo Visual (VWM): En paralelo a la recolección de texto, los investigadores extraen imágenes de las páginas web visitadas.
  • Filtrado: Filtros basados en reglas eliminan imágenes de baja resolución, duplicadas o irrelevantes.
  • Selección: Un selector basado en VLM evalúa los candidatos restantes frente a los requisitos visuales de la etapa de planificación.
  • Almacenamiento: Las imágenes retenidas se almacenan con sus URLs de origen, el contexto circundante, la sección asociada y la función visual prevista. Esto externaliza los materiales alineados con la fuente como un estado estructurado cruzado-modal en lugar de activos posteriores.
• Verificación: El Verificador verifica la fidelidad de las citas, el apoyo a las afirmaciones y la relevancia visual. Los paquetes fallidos se devuelven para su revisión.

3. Etapa de Redacción: Composición Multimodal Declarativa

• Agente Redactor: Compone el informe final utilizando el plan global, los paquetes de investigación verificados y la VWM. En lugar de una inserción ad hoc, utiliza una estrategia de composición multimodal declarativa, generando contenido textual y directivas de imagen conjuntamente.
• Operaciones de Imagen: El sistema arbitra tres operaciones:
  1. Referencia a Imagen: Reutiliza imágenes alineadas con la fuente desde la VWM.
  2. Búsqueda de Imagen: Recupera imágenes web adicionales si la VWM es insuficiente.
  3. Generación de Imagen: Crea nuevos visuales (gráficos, diagramas) mediante ejecución de código o modelos generativos cuando se requiere síntesis.
• Escalado en Tiempo de Prueba (TTS): Antes del renderizado final, el sistema aplica un bucle de refinamiento de seis pasos:
  1. Refinamiento de Sección: Mejora la claridad y la cobertura de evidencia.
  2. Refinamiento de Imagen: Decide Mantener, Eliminar o Editar imágenes.
  3. Refinamiento General: Mejora la organización global y la consistencia cruzada-modal.
  4. Generación HTML: Convierte el informe a HTML.
  5. Refinamiento HTML: Ajusta el diseño y el estilo.
  6. Renderizado: Muestra el informe final dirigido al usuario.

Protocolo de Evaluación: PTAHEval

Para abordar la falta de métricas para informes entrelazados, los autores introducen PTAHEval, que amplía los puntos de referencia existentes con dos nuevas dimensiones:

1. Calidad del Contenido de la Imagen (ICQ): Evalúa imágenes individuales por Claridad Visual (VC), Alineación Cruzada-Modal (CMA), Complementariedad de Información (IC) y Soporte Probatorio (ES).
2. Calidad de Presentación Multimodal (MPQ): Evalúa la página web renderizada (viewport) por el Equilibrio Densidad-Legibilidad (DLB), Saliencia Informativa (IS), Diversidad de Codificación Visual (VED) y Ergonomía Visual (VE).

Resultados Experimentales

Los experimentos se realizaron en DeepResearch Bench y DeepConsult, comparando PTAH con modelos de generación directa, agentes de búsqueda solo de texto (ReAct, Search-o1, WebThinker) y una línea base multimodal (LLM-I).

• Calidad General del Contenido: PTAH logró la puntuación general más alta en DeepResearch Bench (45.16), liderando en Perspectiva/Profundidad y Legibilidad. En DeepConsult, superó a todas las líneas base con una puntuación promedio de 16.18 (más del doble de la siguiente mejor).
• Calidad Visual: PTAH superó significativamente a las líneas base en ICQ (4.39 vs. 1.97 para LLM-I) y MPQ (3.71 vs. 3.00 para LLM-I), demostrando imágenes más claras y contextualmente relevantes, así como una organización de diseño superior.
• Credibilidad: PTAH logró una Precisión de Citas del 87.53 con 9.64 citas efectivas por tarea, superando sustancialmente a las líneas base, que a menudo emitían URLs inválidas o alucinadas.
• Evaluación Humana: Los anotadores humanos prefirieron PTAH sobre las líneas base en el 88.75% de los casos de legibilidad y en el 96.25% de los casos de eficiencia de adquisición de información.
• Estudios de Ablación:
  • Eliminar el Verificador causó una caída del 32% en la finalización exitosa de tareas y un descenso significativo en la precisión de las citas.
  • Eliminar el Escalado en Tiempo de Prueba (TTS) redujo la puntuación general en 3.03 puntos y aumentó los fallos en la generación de imágenes.
  • Eliminar Elementos Visuales (PTAH sin imágenes) mantuvo una alta calidad textual (45.10) pero redujo las puntuaciones de MPQ (3.29), confirmando que el entrelazamiento visual mejora específicamente la calidad de la presentación.

Significado y Afirmaciones

El artículo afirma que PTAH aborda la brecha crítica en la investigación profunda multimodal verificable mediante:

1. Descomponer el ciclo de vida en etapas de Planificación, Investigación y Redacción con artefactos intermedios inspeccionables.
2. Instituir un Agente Verificador que hace cumplir la fundamentación factual, la fidelidad de las citas y la consistencia cruzada-modal en cada etapa, previniendo la acumulación de errores.
3. Tratar la evidencia visual como un componente central de la investigación a través de la Memoria de Trabajo Visual, en lugar de una decoración posterior.
4. Introducir PTAHEval, un protocolo que proporciona las métricas necesarias para evaluar la calidad de los informes entrelazados de imagen-texto y su presentación renderizada.

Los autores concluyen que la verificación y el escalado en tiempo de prueba son centrales para producir informes creíbles y profesionalmente entrelazados, y que su enfoque modular multiagente ofrece un marco robusto para la generación multimodal creíble. Reconocen limitaciones en las capacidades de razonamiento de los modelos de código abierto actuales para tareas de horizonte largo, señalando que su diseño secuencial de etapas es un compromiso necesario para la controlabilidad y fiabilidad del sistema.