From Voting to Agent Collaboration: Answer-Type-Aware LLM Pipelines for BioASQ 14b

Resumen Técnico: Del Voto a la Colaboración de Agentes: Pipelines de LLM Conscientes del Tipo de Respuesta para BioASQ 14b

Planteamiento del Problema
La respuesta a preguntas (QA) biomédicas enfrenta desafíos significativos debido a la rápida expansión de la literatura científica, donde la evidencia crítica suele estar distribuida en múltiples documentos, expresada en terminología heterogénea o presentada en contextos conflictivos. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han mostrado potencial en entornos de recuperación aumentada, su aplicación a la QA biomédica se ve obstaculizada por limitaciones específicas: sensibilidad al orden de los fragmentos recuperados, dificultad para resolver evidencia conflictiva, la necesidad de una normalización precisa de entidades y el riesgo de alucinación. Además, el desafío BioASQ Task B involucra distintos formatos de respuesta —sí/no, factoides y listas—, cada uno con requisitos de razonamiento y métricas de evaluación únicos. Los autores argumentan que una estrategia de inferencia uniforme y única es insuficiente para abordar los diversos criterios de razonamiento y evaluación de estos tipos de preguntas.

Metodología
El artículo presenta ku_dmis, un marco de trabajo de LLM específico para tipos de preguntas, diseñado para BioASQ 14b Task B. El sistema emplea una arquitectura modular que redirige las preguntas a pipelines de inferencia especializados basados en su tipo, utilizando múltiples LLMs y estrategias de ensamble para mejorar la robustez.

1. Arquitectura del Sistema:

   • Entrada: El sistema recibe una pregunta, su tipo y fragmentos (snippets) relevantes de oro (gold-standard).
   • Enrutamiento: Un enrutador dirige la entrada a una de tres ramas especializadas: Sí/No, Factoides o Listas.
   • Enfoque de Ensamble: Se utilizan múltiples LLMs (incluyendo variantes de GPT-4o, GPT-5, Claude Sonnet/Opus y modelos Gemini) como razonadores complementarios. Sus salidas se agregan para mitigar los sesgos específicos de cada modelo.

2. Estrategias Específicas por Tipo de Pregunta:

   • Preguntas de Sí/No: Para abordar la sensibilidad al orden de la evidencia y las señales conflictivas, el sistema emplea el reordenamiento de fragmentos (snippet shuffling) combinado con autorreflexión. Cada modelo consulta los fragmentos reordenados cuatro veces. Un voto de mayoría determina la respuesta inicial. Si las salidas son inconsistentes, un agente de verificación interviene, estructurando la evidencia en categorías positivas, negativas e inciertas para tomar una decisión binaria final (Sí, No o Ninguno).
   • Preguntas Factoides: Estas requieren la identificación precisa de entidades biomédicas (p. ej., fármacos, genes). El pipeline utiliza la entrada de fragmento completo combinada con aprendizaje en contexto (ICL) de Cadena de Pensamiento (CoT) basado en recuperación. Se recuperan preguntas de entrenamiento semánticamente similares para proporcionar demostraciones que guíen al modelo en el razonamiento de evidencia a respuesta. Las salidas de múltiples modelos se normalizan y se agregan mediante filtrado de consenso, reteniendo los candidatos que aparecen en al menos tres salidas de modelos, clasificados por recuento de votos.
   • Preguntas de Lista: Para equilibrar la alta recuperación (recall) y la precisión, se utiliza una arquitectura de colaboración multi-agente. Esto implica cuatro agentes secuenciales:
     • Analista de Evidencia: Escanea los fragmentos, califica la relevancia y extrae candidatos sin comprometerse con una respuesta final.
     • Agente de Razonamiento: Genera una lista de candidatos mientras vuelve a leer la evidencia para evitar omisiones.
     • Agente de Verificación: Audita la lista en cuanto a fundamentación, completitud, formato y duplicados.
     • Agente Supervisor: Revisa los informes intermedios y la retroalimentación para finalizar la lista, ya sea adoptándola o revisándola basándose en los fragmentos originales.

3. Desarrollo y Evaluación:

   • Las estrategias se seleccionaron basándose en experimentos preliminares en el conjunto de prueba de BioASQ 13b.
   • El sistema final fue evaluado en el desafío oficial de BioASQ 14b Task B a través de cuatro lotes (batches).
   • Se probaron variantes de envío (ku_dmis1–5) para optimizar el prompting, la normalización y los umbrales de agregación.

Contribuciones Clave

• Marco Unificado: El artículo unifica dos enfoques previamente distintos —los ensambles basados en LLM y los marcos de QA agénticos— en un solo sistema consciente del tipo de pregunta.
• Inferencia Específica por Tipo: Demuestra que son necesarios procedimientos de inferencia distintos (voto/reordenamiento para binarias, CoT/consenso para factoides y verificación multi-agente para listas) para manejar las restricciones específicas de razonamiento y evaluación de cada tipo de pregunta de BioASQ.
• Mecanismos de Robustez: La introducción del reordenamiento de fragmentos, los agentes de verificación selectivos y el ICL basado en recuperación aborda específicamente los problemas de inestabilidad y alucinación comunes en las aplicaciones de LLM biomédicos.

Resultados
En la evaluación oficial de BioASQ 14b, el sistema ku_dmis demostró un rendimiento competitivo en todos los lotes y tipos de preguntas:

• Sí/No: Logró un rendimiento estable con un F1 macro promedio de 0.9110 a través de cuatro lotes. El sistema mantuvo una alta precisión incluso en los lotes posteriores, más desafiantes.
• Factoides: Logró un MRR (Mean Reciprocal Rank) promedio de 0.4626. Notablemente, el sistema obtuvo el primer lugar en la subtarea de factoides del Lote 4. El rendimiento varió por lote, observándose los resultados más fuertes en el lote final, lo que sugiere la efectividad del razonamiento de fragmento completo y el filtrado de consenso.
• Listas: Mostró una mejora significativa a través de los lotes, con la F-medida media ascendiendo de 0.2734 en el Lote 1 a 0.5652 en el Lote 4, resultando en un promedio general de 0.4439. Esta mejora se atribuye al pipeline de agentes colaborativos que reduce tanto la sobregeneración como la subgeneración de entidades.

Significancia y Reivindicaciones
Los autores afirman que sus resultados validan la efectividad de combinar la inferencia específica por tipo de pregunta, la predicción por ensamble y los mecanismos de verificación explícitos para una QA biomédica fiable. El artículo enfatiza que una estrategia de prompting de "talla única" es subóptima para los diversos requisitos de la literatura biomédica. Al adaptar el procedimiento de inferencia al formato de respuesta —utilizando votación para la estabilidad en decisiones binarias, consenso para la precisión de entidades y colaboración de agentes para la cobertura de listas—, el sistema logra un rendimiento robusto.

El artículo reconoce modestamente las limitaciones, señalando que el sistema depende de modelos propietarios (lo que limita la reproducibilidad), se enfoca en respuestas exactas en lugar de la generación de párrafos ideales, y que la variabilidad del rendimiento sugiere la necesidad de una mejor normalización de sinónimos biomédicos y un umbral adaptativo. Sin embargo, la contribución principal sigue siendo la demostración de que los pipelines especializados y conscientes del tipo de respuesta mejoran significativamente la fiabilidad y la precisión de los LLM en dominios biomédicos complejos.