Retrieval Augmented Biomedical Question Answering with Weak Question Recovery and Neural Reranking for BioASQ Task 14b

Resumen Técnico: Respuesta a Preguntas Biomédicas mediante Recuperación Aumentada por Búsqueda con Recuperación de Preguntas Débiles y Reclasificación Neuronal

Declaración del Problema
La respuesta a preguntas (QA) biomédicas enfrenta desafíos significativos debido al crecimiento acelerado de la literatura, la terminología específica del dominio, la variabilidad de sinónimos y la necesidad de razonamiento de múltiples saltos (multi-hop). Aunque los Modelos de Lenguaje de Gran Escala (LLMs) han mejorado la generación de texto, la calidad de la recuperación sigue siendo un cuello de botella; los documentos recuperados suelen contener evidencia ruidosa, parcial o débilmente relacionada, lo que conduce a alucinaciones o respuestas incorrectas. Específicamente, los procesos de recuperación estándar suelen fallar en consultas "débiles" que involucran enfermedades raras o relaciones complejas entre entidades, donde la superposición léxica es baja. El benchmark BioASQ Task 14b resalta estas dificultades, requiriendo que los sistemas no solo recuperen documentos y fragmentos relevantes, sino que también generen respuestas exactas y resúmenes ideales a través de cuatro tipos de preguntas (sí/no, factoides, listas, resúmenes).

Metodología
Los autores presentan un pipeline unificado desarrollado por el equipo DS@GT ARC BioASQ, que integra expansión de consultas de múltiples fuentes, reclasificación (reranking) neuronal, un mecanismo de recuperación de preguntas débiles condicional y generación asistida por OpenBioLLM.

1. Pipeline de Recuperación y Reclasificación:

   • Expansión de Consultas: El sistema expande las consultas utilizando tres estrategias: expansión basada en la memoria de entrenamiento (basada en preguntas similares de BioASQ), expansión de sinónimos biomédicos mediante OpenBioLLM y aumentación consciente de relaciones (capturando enlaces entre enfermedad-tratamiento o gen-vía).
   • Recuperación Inicial: Las consultas expandidas se envían a la API de PubMed (NCBI E-utilities) para recuperar documentos candidatos (60–100 por pregunta).
   • Reclasificación Neuronal: Un modelo SentenceTransformer basado en MiniLM ajustado (fine-tuned) reclasifica los candidatos basándose en la similitud semántica. Esto se combina con señales heurísticas (superposición de títulos, coincidencia de frases clave, alineación de entidades).
   • Fusión: Los resultados de múltiples expansiones de consultas se fusionan mediante la Fusión de Clasificación Recíproca (RRF) para mejorar la robustez.

2. Recuperación de Preguntas Débiles:

   • Un mecanismo condicional identifica consultas con bajo rendimiento basándose en la calidad de los fragmentos (puntuaciones de relevancia léxica < 0.35) y señales de recuperación (bajo recuento de artículos únicos, alta redundancia).
   • Para estos casos específicos, el sistema aplica una expansión semántica dirigida y aumentación consciente de relaciones para recuperar evidencia relevante, fusionando selectivamente los resultados mejorados en lugar de reemplazar la salida completa.

3. Selección y Poda de Fragmentos:

   • El análisis del conjunto de entrenamiento reveló rendimientos decrecientes en la cobertura de vocabulario más allá de dos fragmentos por pregunta. En consecuencia, el pipeline emplea una poda controlada para eliminar fragmentos redundantes o de baja relevancia, equilibrando precisión y exhaustividad (recall) para optimizar la eficiencia del prompt para la generación posterior.

4. Generación de Respuestas:

   • Modelo: El sistema utiliza aaditya/Llama3-OpenBioLLM-70B como núcleo generativo. Para ajustar este modelo de 70B en una sola NVIDIA A100 (40 GB), se aplica la Cuantización de Pesos Consciente de la Activación (AWQ), comprimiendo los pesos a precisión de 4 bits mientras se protegen los canales salientes.
   • Inferencia: El modelo se sirve a través de vLLM con PagedAttention para gestionar la fragmentación de memoria.
   • Prompting: Se utilizan prompts estructurados con instrucciones de formato específicas por tipo (por ejemplo, "EXACT: yes/no" para factoides, entidades delimitadas por tuberías para listas) para asegurar el cumplimiento de los esquemas de BioASQ.
   • Fases: La Fase A+ utiliza la evidencia recuperada para la generación, mientras que la Fase B utiliza la evidencia "gold" proporcionada por los organizadores, permitiendo la ablación de los efectos de la calidad de la recuperación.

Resultados Clave

• Recuperación (Fase A): El pipeline propuesto logró una Precisión Media (MAP) de 0.0956 en el Lote 4. Los estudios de ablación local mostraron que el marco completo (incluyendo la recuperación de preguntas débiles y la limpieza) mejoró el MAP@10 de 0.0745 (línea base) a 0.0955, una mejora relativa de ~28%. El sistema superó consistentemente las configuraciones de reclasificación alternativas que utilizaban bi-encoders MPNet más grandes o cross-encoders genéricos de MS MARCO, lo que sugiere que el ajuste fino específico del dominio combinado con estrategias de recuperación es más efectivo que simplemente aumentar el tamaño del modelo.
• Respuestas Exactas (Fase A+ y B): El rendimiento varió según el lote y el tipo de pregunta. En la Fase B (usando evidencia gold), el sistema logró un macro-F1 de sí/no de 0.8952 (Lote 3) y una exactitud estricta de factoides de 0.4118. Esto indica que, cuando se proporciona evidencia de alta calidad, el marco OpenBioLLM genera respuestas exactas fiables.
• Respuestas Ideales: Las puntuaciones ROUGE para resúmenes ideales fueron más bajas que las métricas de respuestas exactas (por ejemplo, R than ROUGE-2 F1 ~0.1758 en el Lote 3), lo que sugiere que, si bien el refinamiento de la recuperación ayuda significativamente a la predicción de respuestas exactas, la generación de resúmenes abstractivos sigue siendo un desafío que requiere un ajuste de instrucciones adicional.

Significancia y Reivindicaciones
El artículo afirma que la contribución principal radica en demostrar que el refinamiento consciente de la recuperación y la selección controlada de evidencia son críticos para una respuesta a preguntas biomédicas robusta. Específicamente:

• Recuperación Dirigida: Una estrategia de recuperación de preguntas débiles condicional aborda eficazmente las consultas difíciles sin requerir modificaciones globales en la arquitectura central de recuperación.
• Eficiencia vs. Tamaño: La reclasificación ligera (MiniLM) combinada con un refinamiento estratégico de la recuperación ofrece mejores compromisos entre efectividad y eficiencia computacional que los modelos más grandes y genéricos.
• Fundamentación de la Evidencia: Los resultados subrayan que la calidad de la respuesta depende altamente de la calidad de la evidencia; los fallos de recuperación se correlacionan directamente con errores de generación, particularmente para preguntas de factoides y listas donde omitir una sola entidad impacta las métricas.
• Ingeniería de Sistemas: El trabajo destaca que el formateo robusto, el post-procesamiento y la poda de fragmentos son tan vitales como los modelos de recuperación y generación para asegurar la validez de la entrega y la estabilidad de la evaluación en entornos de benchmark.

Los autores concluyen que, aunque su sistema no alcanzó el nivel superior absoluto de todas las entregas de BioASQ, el marco propuesto demuestra que la integración de recuperación adaptativa, generación enfocada en la evidencia y un post-procesamiento riguroso produce sistemas de respuesta a preguntas biomédicas fiables y computacionalmente eficientes.