Resumen Técnico: OpenBioRQ

Planteamiento del Problema

Los benchmarks agénticos actuales en biomedicina asumen mayoritariamente la existencia de una clave de respuestas conocida y verificable. Esta suposición enmascara modos de falla críticos: cuando un modelo puede ecoar una fuente preespecificada, evita la necesidad de verificar independientemente si un artículo recuperado realmente respalda su afirmación. En consecuencia, las evaluaciones existentes no logran detectar las citas de "artículo incorrecto" (donde un identificador real y resoluble apunta a un artículo que no respalda la afirmación) y el "colapso agéntico" (donde los agentes abandonan el uso de herramientas ante preguntas difíciles). Además, las auditorías de citas estándar suelen centrarse únicamente en la existencia de una referencia (¿se resuelve el PMID?), pasando por alto la falla más peligosa de vincular un identificador válido a una afirmación no sustentada.

El artículo identifica una brecha en el panorama de la evaluación: la intersección entre entornos agénticos (que requieren el uso de herramientas) y preguntas no resueltas (sin una clave de respuestas de verdad fundamental). Este cuadrante está subexplorado porque la construcción de benchmarks sin claves de respuestas es estructuralmente difícil; sin una clave, es complicado verificar si una pregunta es genuinamente abierta o si la respuesta de un modelo es correcta.

Metodología

El Benchmark OpenBioRQ

OpenBioRQ es un benchmark basado en la recuperación que comprende 12,553 preguntas de investigación biomédica no resueltas en 12 dominios. El corpus se construye mediante un pipeline de cinco etapas: rastreo, extracción, refinamiento, deduplicación y exportación.

• Fuentes: Las preguntas se extraen de fuentes autorizadas que plantean problemas abiertos, incluyendo PubMed, registros de ensayos clínicos, arXiv, las Alianzas de Priorización de Configuración de James Lind, recomendaciones de investigación de NICE y literatura de brechas de investigación de Cochrane.
• Verificación de Apertura: A diferencia del trabajo previo que depende del encuadre de la fuente, OpenBioRQ emplea un verificador de estatus basado en la recuperación. Este sistema recopila evidencia de seguimiento real (por ejemplo, citando artículos, resultados de ensayos) para reevaluar si una pregunta sigue siendo abierta. Una reauditoría del conjunto central encontró que 0/657 preguntas fueron resueltas.
• Dificultad Empírica: La dificultad no es etiquetada a mano, sino derivada empíricamente. Un "roster" de tres modelos de pesos abiertos (GLM-5.1, Qwen3.6, DeepSeek-V4) intenta cada pregunta. Una pregunta se etiqueta como núcleo (core) solo si los tres fallan (puntuación < 0.5). Se define un núcleo congelado (frozen core) de 423 preguntas como aquellas que los tres fallan incluso bajo decodificación determinista ($T=0$).
• Protocolo de Evaluación:
  • Arnés Agéntico: Los modelos interactúan con 10 APIs REST biomédicas (ej. PubMed, ClinicalTrials.gov, OpenFDA) durante hasta 10 rondas de razonamiento y llamadas a herramientas.
  • Puntuación de Lista de Verificación Congelada: En lugar de un juicio de LLM de forma libre, cada pregunta se califica contra una lista de verificación congelada y fija por pregunta generada una sola vez. Los criterios incluyen "debe mencionar", "debe reconocer" (incertidumbre), "debe fundamentar" (evidencia) y "debe evitar" (fabricación). Esto eleva el acuerdo entre jueces (Spearman) de 0.35 a 0.82.
  • Auditoría de Citas de Dos Niveles:
    • L1 (Existencia): ¿El identificador resuelve a un artículo real?
    • L2 (Soporte de Contenido): ¿El artículo resuelto realmente respalda la afirmación?

Contribuciones Clave

1. Primer Benchmark Agéntico × No Resuelto: OpenBioRQ es el primer benchmark biomédico que combina un entorno agéntico con preguntas no resueltas que carecen de una clave de respuestas, tratando la tarea como una sonda para la fidelidad y la abstención.
2. Auditoría de Citas de Dos Niveles: El artículo introduce una auditoría rigurosa que distingue entre la existencia de la cita y el soporte de la cita. Revela que, si bien los agentes biomédicos rara vez fabrican identificadores (tasa de falla L1 $\approx 0.7\%$), frecuentemente vinculan artículos reales a afirmaciones no sustentadas (tasa de falla L2 $\approx 15.9\%$).
3. Observación de Colapso Agéntico: El benchmark detecta un modo de falla donde los agentes, particularmente en las preguntas más difíciles, abandonan por completo el uso de herramientas (colapso de cero herramientas), regresando a la recitación paramétrica.
4. Construcción de Dificultad Empírica: El artículo demuestra un método para construir benchmarks difíciles sin etiquetas de dificultad humanas, utilizando las tasas de falla de los modelos para definir el conjunto "core", asegurando que el benchmark sea no saturable a medida que los modelos mejoran.

Resultados

Fidelidad de la Cita

• La Existencia no es Corrección: En un conjunto de 4,863 citas, el 99.3% resolvió a artículos reales. Sin embargo, el 15.9% de estas citas resueltas eran de "artículo incorrecto" (no respaldaban la afirmación). Esta tasa fue confirmada por una familia de jueces independiente (Opus-4.7) en un 10.6%.
• Brecha de Severidad: El artículo hipotetiza que las citas de artículos incorrectos son más peligrosas que las fabricadas porque el identificador resoluble otorga una falsa autoridad a la afirmación.

Rendimiento de los Agentes

• Dificultad No Saturable: Incluso los agentes de frontera más fuertes (Gemini-3-Pro, Opus-4.7, GPT-5.5) resuelven solo entre 29 y 60% del núcleo congelado. El mejor agente deja sin resolver aproximadamente entre el 33 y el 40% de las preguntas, lo que indica que el benchmark es discriminatorio y no está saturado.
• Colapso Agéntico: En las preguntas más difíciles, modelos como GLM-5.1 y DeepSeek-V4 exhiben altas tasas de cero herramientas (65% y 62%, respectivamente). Una ablación de no-herramientas para GLM-5.1 no mostró degradación en el rendimiento, sugiriendo que las herramientas dejan de ser rentables precisamente donde más se necesitan.
• Divergencia de la QA de Forma Cerrada: Los modelos que se agrupan estrechamente en benchmarks de forma cerrada (ej. MedQA, donde el rendimiento varía solo 3.9 puntos) muestran una gran dispersión en OpenBioRQ (abarcando 7.6 veces en tasas de resolución), revelando una brecha de resolución en las métricas de evaluación actuales.

Robustez

• Independencia del Juez: Los resultados son robustos a los cambios de familia de jueces (GLM vs. Opus), con cambios en la tasa de resolución $\le 4.1$ puntos y un orden de modelos preservado.
• Cobertura de Dominio: El benchmark abarca 12 dominios, y el núcleo congelado se distribuye entre todos ellos, asegurando que los hallazgos no sean artefactos específicos de un dominio.

Significancia y Reclamaciones

El artículo afirma que OpenBioRQ se dirige a la asistencia en investigación —específicamente la recuperación de evidencia y la cita fiel— en lugar al soporte de decisiones clínicas. Su significancia principal radica en exponer una brecha crítica de confiabilidad en los sistemas biomédicos agénticos: la tendencia a adjuntar citas reales y resolubles a afirmaciones no sustentadas.

Los autores argumentan que los controles de existencia son una "falsa comodidad". En biomedicina, el modo de falla dominante no es la fabricación de referencias (como ocurre en los dominios matemáticos), sino la atribución errónea de las mismas. Por consiguiente, el soporte de contenido L2, y no la existencia L1, debe ser el salvaguarda de confiabilidad.

Además, el artículo destaca el colapso agéntico como un fallo estructural donde los agentes dejan de usar herramientas en las preguntas más difíciles, haciendo que los benchmarks aumentados con herramientas sean ineficaces para medir la capacidad real en esos regímenes. Al eliminar la clave de respuestas, OpenBioRQ obliga a los agentes a demostrar fundamentación y abstención calibrada, comportamientos que son invisibles en la QA de forma cerrada estándar.

El benchmark se publica como un artefacto congelado (una lista fija de 423 preguntas centrales con un caché de reproducción de respuesta de herramientas) para asegurar la reproducibilidad a pesar de que la literatura biomédica y las respuestas de las API son objetivos móviles. Los autores declaran explícitamente que el recurso es para evaluar la fundamentación de la literatura y no debe utilizarse para guiar la atención de pacientes.