HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering

Resumen Técnico de HypothesisMed

Declaración del Problema
Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM) para el cuestionario de preguntas y respuestas (QA) biomédicas dependen en gran medida de la precisión de la respuesta final. Sin embargo, el artículo sostiene que la precisión por sí sola es insuficiente para los flujos de trabajo biomédicos sensibles a la fiabilidad. Un modelo puede seleccionar la opción correcta pero fallar al producir salidas procesables por máquinas, ignorar instrucciones estructuradas o comprometerse con confianza en respuestas incorrectas cuando el espacio de respuestas disponible es incompleto, duplicado o contradictorio. Los benchmarks existentes como MedQA, MedMCQA y PubMedQA típicamente no evalúan si un modelo puede reconocer estos espacios de respuesta "débiles" o proporcionar metadatos de fiabilidad auditables junto con sus predicciones.

Metodología: El Pipeline HypothesisMed
El artículo introduce HypothesisMed, un pipeline de inferencia de fiabilidad diseñado para separar la selección de la respuesta del reporte de fiabilidad estructurado. El sistema opera a través de los siguientes componentes:

• Estrategias de Prompting: El pipeline evalúa cuatro métodos de inferencia:
  1. Direct Prompting: Razonamiento mínimo, selección directa de la respuesta.
  2. Chain-of-Thought (CoT): Pasos de razonamiento explícitos antes de la selección.
  3. HypothesisMed-v3 Prompting: Un prompt estructurado diseñado para producir metadatos específicos.
  4. Propuesta de Fusión: Una combinación de los anteriores.
• Etiquetas de Espacio (SPACE) Estructuradas: Una innovación central es el campo SPACE (un nombre de etiqueta, no un modelo), que HypothesisMed-v3 utiliza para clasificar el estado del espacio de respuestas en tres categorías:
  • VALID (VÁLIDO): Existe una única mejor respuesta respaldada médicamente.
  • INCOMPLETE (INCOMPLETO): La respuesta correcta parece ausente o insuficientemente representada.
  • CONTRADICTED (CONTRADICCIÓN): Las opciones son internamente inconsistentes, duplicadas o médicamente contradictorias.
• Fusión de Respuestas: La respuesta final se selecciona mediante votación por mayoría sobre candidatos procesables generados por los prompts directos, CoT y HypothesisMed-v3. Si no existe una mayoría estricta, se utiliza un orden de fallback determinista (Direct $\to$ CoT $\to$ HypothesisMed-v3).
• Métricas de Evaluación: Más allá de la Precisión de Respuesta (Answer Accuracy) estándar, el estudio mide:
  • Cobertura de Procesamiento (Parse Coverage): La fracción de salidas procesadas exitosamente en una opción válida.
  • Cobertura de SPACE (SPACE Coverage): La fracción de salidas que contienen una etiqueta SPACE válida.
  • Precisión de SPACE (SPACE Accuracy): La corrección de la etiqueta SPACE (por ejemplo, identificar correctamente un espacio VÁLIDO frente a afirmar falsamente que es INCOMPLETO).
  • Compromiso Falso (False Commitment): La tasa de respuestas incorrectas con alta confianza (confianza $\ge$ 0.5).

Configuración Experimental
El estudio evalúa cuatro modelos de pesos abiertos: Qwen2.5-7B-Instruct, Phi-4-mini-instruct, DeepSeek-R1-Distill-Qwen-32B y BioMistral-7B.

• Evaluación Primaria: 1,000 ejemplos por dataset (MedQA, MedMCQA, PubMedQA) para los cuatro modelos.
• Evaluación Escalada: 10,183 ejemplos por modelo para Qwen2.5-7B y Phi-4-mini.
• Prueba de Estrés de SPACE: Una prueba expandida de 12,000 ejemplos por modelo donde los espacios de respuesta son perturbados artificialmente (eliminando respuestas correctas para crear conjuntos INCOMPLETOS, duplicando respuestas para crear conjuntos CONTRADICTORIOS) para probar la capacidad del modelo de detectar defectos.

Resultos Clave

1. Compensaciones entre Precisión y Fiabilidad: En la evaluación primaria de cuatro modelos, el pipeline propuesto de Fusión de Respuestas + HypothesisMed-v3 mejoró la precisión ponderada de las respuestas sobre la mejor línea base de Direct o CoT para todos los modelos, mientras que simultáneamente aumentó la cobertura de procesamiento y la cobertura de SPACE.
   • Qwen2.5-7B: Logró 0.6367 de precisión (frente a 0.6003 de la línea base CoT) con 100% de cobertura de procesamiento y 99.97% de cobertura de SPACE.
   • Phi-4-mini: Mostró ganancias sustanciales, mejorando de 0.4817 (CoT) a 0.5767 (Propuesto), con una reducción masiva en los compromisos falsos (de 0.9838 a 0.4054).
2. Comportamientos Específicos del Modelo:
   • DeepSeek-R1-32B: Mostró una mejora en la precisión con la fusión (0.1690 a 0.3877), pero los autores señalan que esto refleja principalmente una mejora en el formato/usabilidad más que una ganancia pura de razonamiento, ya que sus líneas base tenían una cobertura de procesamiento muy baja.
   • BioMistral-7B: Demostró un pobre cumplimiento de salida estructurada (cobertura de SPACE cercana a cero), lo que indica que la especialización de dominio no garantiza la adherencia a las restricciones de salida estructurada.
3. Evaluación Escalada: En la prueba de 10,183 ejemplos, la fusión mejoró sustancialmente la precisión de Phi-4-mini (0.4296 a 0.5192). Para Qwen2.5-7B, CoT se mantuvo ligeramente superior en precisión bruta que la fusión, pero el método de fusión proporcionó cobertura completa de parseo/SPACE y un compromiso falso significativamente menor.
4. Prueba de Estrés de SPACE: La capacidad de diagnosticar defectos en el espacio de respuestas siguió siendo difícil. En la prueba de estrés, Qwen2.5-7B logró 0.3074 de precisión de SPACE, y Phi-4-mini logró 0.4168, lo que sugiere que el prompting estructurado tiene dificultades para detectar de manera confiable anomalías sutiles en el espacio de respuestas.

Significancia y Reivindicaciones
El artículo establece explícitamente que su contribución principal no es una afirmación universal de estado del arte en precisión de QA biomédica. En cambio, la significancia radica en:

• Separabilidad de Capacidades: Demostrar que la precisión de la respuesta, la procesabilidad, el reporte de fiabilidad estructurado, la calibración y el comportamiento de compromiso falso son capacidades distintas y separables que deben evaluarse de forma independiente.
• Componentes de Flujo de Trabajo Auditables: Proporcionar un marco de inferencia reproducible para evaluar los LLM biomédicos como componentes de flujo de trabajo auditables bajo restricciones de fiabilidad estructurada, en lugar de meramente como generadores de respuestas.
• Reporte de Fiabilidad Estructurada: Introducir un método para generar metadatos legibles por máquina (etiquetas SPACE) que permita a los sistemas descendentes detectar cuándo un modelo está operando sobre un espacio de respuesta incompleto o contradictorio, mitigando así el riesgo de compromisos incorrectos realizados con confianza.

Los autores concluyen que, aunque el diagnóstico del espacio de respuestas sigue siendo un desafío para los modelos actuales, el pipeline HypothesisMed ofrece un paso necesario hacia la evaluación de los LLM biomédicos con el rigor requerido para un despliegue automatizado y seguro.