VetScore: Risk-Weighted Fact Verification for Veterinary Long-Form QA with Citations

Resumen Técnico: VETSCORE

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se están aplicando cada vez más en la medicina veterinaria, pero con frecuencia producen resultados que son potencialmente dañinos o fácticamente inexactos. Si bien enfoques recientes abogan por la "generación de texto atribuible" (que incluye citas y fragmentos de fuentes) para mejorar la fiabilidad, la mera presencia de citas no garantiza que las afirmaciones generadas sean fieles a las fuentes proporcionadas. Además, los métodos de verificación de hechos existentes suelen tratar todas las afirmaciones por igual. En dominios de alto riesgo como la medicina veterinaria, esto es un fallo crítico: una afirmación no verificada sobre la dosis de un fármaco plantea un riesgo de daño al paciente significativamente mayor que una afirmación no verificada sobre el año de publicación de un estudio. Las métricas de evaluación actuales no logran distinguir entre estos niveles de riesgo, permitiendo potencialmente que las alucinaciones de alto riesgo pasen inadvertidas mientras penalizan desproporcionadamente las inexactitudes de bajo riesgo.

Metodología: VETSCORE

Los autores presentan VETSCORE, un pipeline de evaluación de múltiples pasos diseñado para evaluar la fidelidad de los resultados de preguntas y respuestas (QA) veterinarias de formato largo respecto a sus fragmentos de fuentes citadas, ponderados por el potencial de daño de cada afirmación. El método extiende el paradigma estándar de "descomponer-luego-verificar" con una puntuación ajustada al riesgo.

El pipeline consta de cuatro etapas distintas:

1. Segmentación de la Salida: El texto generado se divide en segmentos basados en delimitadores (líneas vacías o citas previas). Cada segmento se asocia con sus correspondientes fragmentos de fuente.
2. Descomposición de Afirmaciones: Un LLM descompone cada segmento de texto en afirmaciones atómicas individuales. Para asegurar que se preserve el contexto (por ejemplo, resolviendo la anáfora), el descomponedor recibe el texto precedente de la salida hasta el último encabezado.
3. Mecanismo de Doble Puntuación:
   • Verificación de Hechos: Un juez de LLM evalúa si cada afirmación atómica está respaldada por los fragmentos de fuente proporcionados. Esto genera una puntuación binaria ($v_i \in \{0, 1\}$), donde 1 indica respaldo y 0 indica falta de respaldo o contradicción.
   • Puntuación de Potencial de Daño: Independientemente, un juez de LLM asigna una puntuación de potencial de daño ($w_i \in [1, 5]$) a cada afirmación. Esta puntuación refleja la gravedad del daño si la afirmación fuera incorrecta y fuera aplicada por un profesional veterinario. La escala oscila entre 1 (sin consecuencia clínica, ej. metadatos de un estudio) y 5 (daño directo al paciente, ej. dosificación incorrecta de un fármaco o contraindicación).
4. Agregación Ponderada por Riesgo: La puntuación final para un segmento se calcula agregando las puntuaciones de verificación y de daño. Los autores definen una penalización local basada en el potencial no verificado, normalizada por el potencial de daño total del segmento. La fórmula permite controlar la contribución de las afirmaciones de alto daño mediante un exponente $p$ (establecido en 2.426 en los experimentos). La puntuación de verificación ajustada al riesgo final es $1 - p_{global}$, que representa la fracción del potencial de daño total que sí está respaldada.

Conjunto de Datos y Evaluación

Para validar VETSCORE, los autores construyeron un conjunto de datos de meta-evaluación:

• Entradas: 67 consultas diversas de un sistema de QA veterinaria de producción, que cubren varias disciplinas (gastroenterología, cardiología, etc.) y especies.
• Generación: Seis LLMs diferentes (incluyendo GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro y modelos de pesos abiertos) generaron respuestas con citas basadas en fuentes de PubMed recuperadas.
• Anotación Humana: Expertos veterinarios (profesionales y estudiantes) anotaron 1,200 segmentos que contienen 4,986 afirmaciones. Realizaron dos tareas: verificación de hechos binaria y puntuación de potencial de daño de 1 a 5.
• Agregación: Debido a la moderada concordancia inter-anotador en la puntuación de daño ($\alpha = 0.462$), los autores utilizaron la Teoría de Respuesta al Ítem (específicamente el Modelo de Crédito Parcial) para ajustar la severidad del evaluador y derivar puntuaciones agregadas.

Resultados Clave

Los autores evaluaron VETSCORE utilizando nueve modelos jueces diferentes (que van desde modelos propietarios como GPT-5.6 Sol hasta modelos de pesos abiertos más pequeños como Gemma 4 31B) frente a las anotaciones humanas.

• Correlación con Expertos: VETSCORE logró altas correlaciones de Spearman con expertos humanos. Las correlaciones de verificación de hechos alcanzaron hasta 0.783 (Gemini 3.6 Flash), y las correlaciones de potencial de daño alcanzaron 0.763 (Gemini 3.1 Pro).
• Eficiencia del Modelo: El enfoque modular resultó efectivo incluso con modelos más pequeños. Gemma 4 31B (31B de parámetros) logró correlaciones competitivas con modelos propietarios mucho más grandes, lo que sugiere que el método no requiere LLMs masivos para una evaluación efectiva.
• Estudios de Ablación: Eliminar el componente de potencial de daño (línea base de solo Verificación) redujo significamente la correlación con las puntuaciones combinadas humanas en términos absolutos, confirmando que la ponderación por riesgo es esencial para la relevancia clínica. La evaluación conjunta (combinando verificación y puntuación en un solo prompt) degradó el rendimiento en comparación con el enfoque modular.
• Consistencia: Los modelos propietarios y Gemma 4 31B mostraron una alta consistencia a través de las ejecuciones, mientras que algunos modelos de Mezcla de Expertos (MoE) de pesos abiertos exhibieron una mayor varianza.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Pipeline VETSCORE: Un pipeline de verificación eficiente, explicable y modular que proporciona puntuaciones de fidelidad ponderadas por riesgo específicamente para QA veterinaria de formato largo. A diferencia de métodos anteriores, penaliza explícitamente las afirmaciones de alto riesgo no verificadas con mayor rigor que las de bajo riesgo.
2. Conjunto de Datos Validado por Expertos: La liberación de un conjunto de datos de meta-evaluación anotado por profesionales veterinarios, que demuestra que el enfoque propuesto correlaciona altamente con el juicio de expertos humanos.
3. Viabilidad con Modelos Pequeños: La demostración de que el enfoque modular de descomposición y ponderación de riesgo permite una evaluación efectiva utilizando LLMs más pequeños y eficientes, lo que hace que el sistema sea escalable.

Los autores enfatizan que VETSCORE aborda la necesidad específica de una evaluación "informada por el riesgo" en dominios clínicos. Al descomponer las salidas y ponderar las afirmaciones por su potencial de daño, el sistema ofrece una explicabilidad detallada, permitiendo a los profesionales identificar exactamente qué afirmaciones de alto riesgo carecen de respaldo. El artículo concluye que, si bien el método se centra actualmente en la fidelidad basada en fragmentos, su marco ajustado al riesgo es un paso crítico hacia una IA más segura y basada en evidencia en la medicina veterinaria.