💬 NLP

Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies

Este artículo presenta TaxoBench, un punto de referencia que demuestra que los actuales Agentes de Investigación Profunda se quedan significativamente atrás respecto a los expertos humanos tanto en la recuperación de artículos esenciales como en su organización en taxonomías coherentes, revelando cuellos de botella distintivos en la precisión de la recuperación y en la síntesis de la estructura jerárquica.

Autores originales: Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma

Publicado 2026-08-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma, Shihan Dou, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando escribir la guía definitiva para una biblioteca masiva y caótica. No solo necesitas encontrar los libros; necesitas descubrir cómo organizarlos en los estantes para que un lector pueda realmente entender la historia de un campo de estudio. Este es el trabajo de una "revisión" (survey), un tipo de artículo académico que resume todo lo que sabemos sobre un tema específico. Durante años, los científicos han esperado que la Inteligencia Artificial (IA) pudiera realizar este trabajo pesado de forma automática. Imaginaron "Agentes de Investigación Profunda": bots de IA superinteligentes que pudieran rastrear internet, encontrar cada artículo importante y luego disponerlos en un mapa de conocimiento perfecto y lógico.

Pero aquí está el problema: encontrar un libro es fácil; organizarlo es difícil. Para entender si estos bots de IA están realmente listos para el trabajo, necesitamos probar dos habilidades específicas. Primero, la Recuperación (Retrieval): ¿Puede la IA encontrar exactamente los mismos libros que elegiría un experto humano? Si la IA pasa por alto los artículos más importantes, la guía será inútil. Segundo, la Organización: Una vez que la IA tiene los libros, ¿puede construir una "taxonomía"? Piensa en una taxonomía como un árbol genealógico de las ideas. No es solo una lista; es una jerarquía con un tema principal en la cima, que se ramifica en grandes categorías, luego en subcategorías más pequeñas, hasta llegar a los artículos individuales. Una buena taxonomía te ayuda a ver cómo se conectan las ideas. Si la IA simplemente amontona los artículos en un montón desordenado o crea una lista confusa y plana, no ha hecho realmente el trabajo.

Este artículo, titulado "¿Pueden los Agentes de Investigación Profunda Recuperar y Organizar?", pone a prueba a siete de los agentes de investigación de IA más avanzados del mundo. Los investigadores construyeron un desafío especial llamado TaxoBench, que utiliza 72 revisiones reales de alta calidad escritas por expertos humanos como el "estándar de oro". Pidieron a los agentes de IA que encontraran los artículos desde cero o, en una segunda prueba, que organizaran una lista de artículos preseleccionados en una estructura de árbol. Los resultados fueron un golpe de realidad para el mundo de la IA.

El estudio encontró que, si bien estos agentes de IA están mejorando en su capacidad de hablar y escribir, todavía tienen dificultades con los conceptos básicos de la investigación. Cuando se les pidió encontrar los artículos esenciales que utilizan los expertos, el mejor agente de IA solo logró encontrar aproximadamente el 20.92% de ellos. Eso significa que pasó por alto casi el 80% de los libros más importantes de la biblioteca. Los otros agentes lo hicieron incluso peor, con algunos encontrando menos del 5% de los artículos clave. Es como pedirle a un guía turístico que te muestre los 10 monumentos principales de una ciudad, y solo logra señalar dos o tres, perdiéndose el resto.

La segunda parte de la prueba fue aún más reveladora. Incluso cuando los investigadores les dieron a los agentes de IA la lista perfecta de artículos (para no tener que preocuparse por encontrarlos), los agentes fallaron al intentar organizarlos como un experto humano. Los expertos humanos construyeron árboles profundos y de múltiples capas con una profundidad promedio de 4.86 niveles (como un árbol con un tronco, ramas grandes, ramas más pequeñas y ramitas). Los agentes de IA, sin embargo, construyeron estructuras superficiales y planas con una profundidad promedio de solo unos 3 niveles. Estaban perdiendo las capas intermedias de organización.

Cuando los investigadores intentaron obligar a la IA a construir árboles más profundos dándole instrucciones específicas, la IA no se volvió más inteligente; simplemente se volvió desordenada. Empezó a fragmentar el árbol en ramas diminutas de un solo artículo, creando un "bosque" de ramitas aisladas en lugar de un árbol estructurado. Esto se llama "sobre-segmentación". La IA tenía tanto miedo de agrupar las cosas que terminó poniendo casi cada artículo en su propia categoría diminuta y solitaria.

El artículo concluye que existe una enorme "brecha de síntesis" entre lo que la IA puede hacer hoy y lo que pueden hacer los expertos humanos. La IA actualmente está estancada en un "suelo" donde sus habilidades organizativas son apenas mejores que el azar. Aunque los modelos de IA son cada vez más potentes, aún no han cerrado esta brecha. Los investigadores sugieren que, antes de que podamos confiar en la IA para escribir nuestras guías científicas, necesitamos resolver dos problemas separados: enseñarles cómo encontrar la evidencia adecuada y enseñarles cómo construir una estructura profunda y lógica para contener esa evidencia. Hasta entonces, los expertos humanos siguen siendo los únicos que pueden mapear verdaderamente el territorio del conocimiento.

Resumen Técnico: TaxoBench – Evaluando la Brecha de Síntesis en Agentes de Investigación Profunda

1. Planteamiento del Problema

Los agentes de Investigación Profunda (Deep Research o DR) están automatizando cada vez más la generación de revisiones académicas mediante la búsqueda en la web, la recuperación de artículos y la producción de visiones generales estructuradas. Sin embargo, los benchmarks existentes evalúan principalmente la calidad del texto generado, la veracidad o la corrección de las citas, fallando al evaluar conjuntamente dos capacidades fundamentales en la intersección de la adquisición de información y la generación estructural:

Recuperación (Retrieval): ¿Pueden los agentes recuperar el conjunto específico de artículos que los expertos humanos consideran esenciales para una revisión?
Organización: ¿Pueden los agentes organizar estos artículos en una taxonomía jerárquica que refleje las estructuras construidas por expertos?

Los métodos de evaluación actuales suelen depender de métricas de agrupamiento plano (p. ej., ARI, V-Measure) que ignoran la estructura jerárquica o utilizan esquemas juzgados por LLM sin fundamentarlos en asignaciones de artículo-a-categoría. Esto crea una "brecha de síntesis" donde no queda claro si los agentes pueden replicar el proceso experto de identificar la literatura central y sintetizarla en una taxonomía coherente de múltiples niveles.

2. Metodología: TaxoBench

Los autores presentan TaxoBench, un benchmark diseñado para aislar y evaluar las capacidades de recuperación y organización por separado.

Construcción del Conjunto de Datos

TaxoBench se construye a partir de 72 revisiones altamente citadas relacionadas con LLM que abarcan 8 subdominios de IA/ML.

Verdad de Referencia (Ground Truth): Cada revisión incluye una taxonomía elaborada por expertos (jerarquía de categorías) y un conjunto de 3,815 artículos citados mapeados manualmente a categorías expertas por anotadores con doctorado.
Estadísticas: El conjunto de datos presenta un promedio de 354.5 citas por revisión, una profundidad de jerarquía de 4.9 y 14.0 categorías de artículos por taxonomía.

Modos de Evaluación

TaxoBench evalúa los sistemas en dos modos distintos para separar la recuperación de la organización:

Modo de Investigación Profunda (Extremo a Extremo): Los agentes reciben solo el tema de una revisión. Deben utilizar herramientas web para recuperar artículos y luego organizarlos en una taxonomía. Esto evalúa tanto la recuperación como la organización simultáneamente.
Modo Bottom-Up (Aislamiento de la Organización): Se le proporciona a los agentes el conjunto exacto de artículos citados por expertos ( $P^*$ ). Deben organizar este conjunto fijo en una taxonomía. Esto aísla la capacidad de organización, eliminando la recuperación como una variable.

Métricas

El artículo propone una serie de métricas para evaluar tanto las asignaciones a nivel de hoja como las estructuras a nivel de jerarquía:

Nivel de Hoja: Índice de Rand Ajustado (ARI) y V-Measure (Homogeneidad/Completitud) para evaluar la asignación de artículo-a-categoría.
Nivel de Jerarquía:
- US-TED / US-NTED (Distancia de Edición de Árbol Semántico No Ordenado): Mide la divergencia estructural global entre la taxonomía del modelo y la referencia experta, teniendo en cuenta la similitud semántica de las etiquetas (vía embeddings) e ignorando el orden de los hermanos.
- Sem-Path (Similitud de Ruta Semántica): Una métrica por artículo que mide la consistencia de la ruta desde la raíz hasta la hoja. Alinea las cadenas de ancestros y penaliza las discrepancias en las etiquetas semánticas y la longitud de la ruta.
Calibración: Los autores introducen controles de "ajuste de profundidad" para tener en cuenta el hecho de que los modelos suelen producir árboles más superficiales que los expertos, lo que deprime artificialmente las puntuaciones de Sem-Path. También establecen líneas base de "suelo" (p. ej., taxonomías planas) para interpretar las puntuaciones brutas.

3. Contribuciones Clave

Dataset TaxoBench: Un benchmark que empareja 72 taxonomías expertas con 3,815 artículos mapeados, permitiendo la evaluación separada de la recuperación y la organización.
Métricas Conscientes de la Jerarquía: Desarrollo de US-TED, US-NTED y Sem-Path, que capturan la alineación estructural y semántica más allá del agrupamiento plano. Los autores también distinguen entre hallazgos basados en la alineación (acuerdo con una referencia experta específica) y hallazgos basados en la capacidad (estadísticas estructurales independientes de las etiquetas específicas).
Evaluación Exhaustiva: Evaluación de 7 Agentes de Investigación Profunda y 16 configuraciones de LLM de frontera (incluyendo o3, GPT-5, Claude, Gemini, etc.) en ambos modos.

4. Resultados Clave

Cuello de Botella de la Recuperación (Modo de Investigación Profunda)

Déficit Severo de Recuperación: Incluso el mejor agente (o3) recupera solo el 20.92% de los artículos citados por los expertos (Recall). Cuatro de los siete agentes caen por debajo del 10% de F1.
Correlación con la Organización: La calidad de la recuperación se correlaciona fuertemente con la estructura de nivel jerárquico (Spearman $\rho=0.89$ para F1 vs. Sem-Path). Los agentes que fallan en recuperar los artículos centrales fallan en construir jerarquías coherentes.
Auto-Recuperación: Aunque algunos agentes recuperan la propia revisión, esto no infla las puntuaciones de Recall porque el título de la revisión no forma parte del conjunto de artículos experto.

Cuello de Botella de la Organización (Modo Bottom-Up)

Déficit de Profundidad: Los modelos fallan consistentemente en construir taxonomías profundas. La profundidad promedio experta es de 4.86, mientras que las 70 ejecuciones de los modelos (a través de generaciones y configuraciones) promedian entre 2.99 y 3.97. La configuración más profunda sigue estando 0.89 niveles por debajo.
Sobre-segmentación: Los modelos tienden a fragmentar las taxonomías en grupos finamente detallados (alta Homogeneidad) en lugar de consolidarlas en categorías más amplias al estilo de los expertos. Por ejemplo, GPT-5.6-sol produce 28.3 categorías con una tasa de elementos únicos (singletons) del 43.5% (artículos en categorías de tamaño 1), comparado con las 14.0 categorías del experto y su tasa de elementos únicos del 17.0%.
Efecto Suelo de Sem-Path: Las puntuaciones brutas de Sem-Path para los modelos se agrupan estrechamente (28–30%), apenas distinguibles de una línea base de taxonomía "Plana" (27.49%). Esto se debe a la falta de corrección por azar y al déficit de profundidad.
- Análisis de Ajuste de Profundidad: Cuando los modelos son evaluados contra un árbol experto colapsado a la profundidad del modelo, las puntuaciones aumentan a 32–42%, y la dispersión se amplía. Sin embargo, persiste una brecha significativa: los humanos (anotadores) logran un 54.09% de Sem-Path en revisiones emparejadas, mientras que los modelos promedian 38.71%.
Influencia del Prompt: Una prueba controlada muestra que forzar a los modelos a igualar la profundidad experta (mediante instrucciones explícitas) no mejora la organización; en su lugar, causa una mayor fragmentación (mayores tasas de elementos únicos) y reduce las puntuaciones de alineación (el ARI cae, el Sem-Path cae). Esto sugiere que el déficit de profundidad es un fallo en la construcción de un refinamiento jerárquico coherente, no una incapacidad para añadir niveles.

Línea Base Humana

En un subconjunto emparejado de 10 revisiones, dos anotadores humanos independientes (sin ver la referencia experta) lograron un Sem-Path de 53.91% y una profundidad de ~4.65. Acordaron entre sí un 50.56% de Sem-Path. Los modelos, por el contrario, puntúan cerca del suelo (28–30%) y acuerdan con el experto más de lo que los humanos acuerdan entre sí en métricas planas (ARI), lo que indica que el ARI está saturado y es poco fiable para esta tarea.

5. Significado y Reivindicaciones

El artículo afirma que TaxoBench identifica la recuperación y la organización jerárquica como cuellos de botella separados y críticos en los actuales agentes de Investigación Profunda.

Recuperación: Los agentes actualmente son incapaces de replicar el proceso de descubrimiento de literatura de los expertos, recuperando menos del 21% de los artículos esenciales.
Organización: Incluso con una recuperación perfecta, los agentes fallan en construir taxonomías profundas y coherentes. Tienden a producir estructuras superficiales y sobre-segmentadas que carecen del refinamiento progresivo que se encuentra en las revisiones expertas.
Calibración de Métricas: Los autores argumentan que las métricas jerárquicas brutas (como Sem-Path) son ininterpretables sin la calibración frente a la profundidad y las líneas base de suelo. Demuestran que una generación de modelo que gana 3.68 pp en ARI muestra casi ningún movimiento en el Sem-Path bruto (0.87 pp), resaltando la insensibilidad de la métrica en el régimen de árboles superficiales.
Direcciones Futuras: El trabajo hace un llamado a métricas de jerarquía corregidas por el azar, flujos de trabajo de agentes más ricos (más allá de las interfaces de producto actuales) y evaluaciones de múltiples referencias para dar cuenta de la subjetividad del diseño de taxonomías.

Los autores conclizan que, si bien los agentes de DR pueden generar texto, actualmente carecen de las capacidades fundamentales para sintetizar autónomamente estructuras de revisión de nivel experto, lo que requiere supervisión experta en lugar de una automatización total.