Resumen Técnico: DECOMPOSERL

Enunciado del Problema

La verificación automatizada de afirmaciones enfrenta un compromiso fundamental entre precisión e interpretabilidad. Los enfoques actuales generalmente se dividen en dos categorías:

1. Clasificadores de extremo a extremo: Estos logran una alta precisión en benchmarks pero operan como "cajas negras", emitiendo un veredicto sin proporcionar trazas inspeccionables de cómo se llegó a la conclusión. Esta opacidad es problemática en dominios de alto riesgo como el triaje biomédico, la verificación de hechos políticos y la revisión por pares científica, donde los usuarios requieren visibilidad sobre qué partes de una afirmación fueron verificadas y por qué.
2. Métodos basados en descomposición: Estos dividen las afirmaciones en subpreguntas atómicas para generar trazas inspeccionables. Sin embargo, a menudo se quedan atrás respecto a los clasificadores de extremo a extremo en rendimiento. Los métodos de descomposición existentes dependen de indicaciones (prompts) frágiles o de aprendizaje por imitación costoso (ajuste fino sobre descomposiciones de oro) sin una señal de entrenamiento que mida la aptitud real de la descomposición para la tarea de verificación.

Metodología

Los autores proponen DECOMPOSERL, un marco de aprendizaje por refuerzo (RL) que entrena una política para descomponer afirmaciones en preguntas útiles, informativas y diversas, produciendo tanto alta precisión como trazas auditables.

1. Embudo de Curación de Datos

Para abordar el costo prohibitivo de entrenar políticas de RL en grandes corpus ruidosos, los autores diseñaron un embudo de curación de datos multifase. Comenzando con 155K afirmaciones a través de 14 corpus heterogéneos, destilaron un subconjunto compacto y denso en señales de aprendizaje de 5,464 afirmaciones (4% de los datos originales). Las etapas de filtrado incluyen:

• Filtrado basado en reglas: Eliminación de afirmaciones con longitud de evidencia insuficiente, superposición léxica trivial o menos de dos entidades nombradas.
• Filtrado basado en dificultad: Uso de un verificador MiniCheck-7B para retener solo las afirmaciones donde el modelo es incierto (confianza $0.3 \le p \le 0.8$), asegurando que los datos de entrenamiento contengan desafíos de razonamiento no triviales.
• Deduplicación y descontaminación: Eliminación de casi-duplicados mediante MinHash y similitud coseno para prevenir fugas de datos y asegurar la diversidad.
• Descomposición de plata: Generación de descomposiciones "de plata" (pseudo-etiquetadas) utilizando GPT-5-mini para las afirmaciones restantes.
• Selección de diversidad: Uso de un objetivo de Ubicación de Instalaciones (maximización submodular) para seleccionar un subconjunto final que maximice la cobertura del espacio de incrustaciones, asegurando que el conjunto de entrenamiento represente la distribución completa de tipos de afirmaciones.
• Aumento de evidencia larga: Adición de afirmaciones con contextos de evidencia largos para prevenir el desplazamiento de distribución durante la evaluación.

2. Marco de Aprendizaje por Refuerzo

DECOMPOSERL enmarca la verificación de afirmaciones como un problema iterativo de descomposición de Preguntas-Respuestas (QA). La política ($\pi_\theta$), basada en Qwen2.5-7B-Instruct, genera una traza estructurada que consiste en un análisis inicial, $n$ ciclos de pregunta-respuesta y un veredicto final ($SUPPORTED$o$REFUTED$).

La política se entrena utilizando Optimización de Política Relativa de Grupos (GRPO) con un novedoso conjunto de recompensas multifacéticas. A diferencia de trabajos anteriores que dependen de una única recompensa de resultado, DECOMPOSERL optimiza siete señales complementarias:

1. Formato ($R_{fmt}$): Asegura el cumplimiento del esquema de salida estructurado basado en XML.
2. Verificación ($R_{ver}$): Ancla la política al veredicto de verdad fundamental (solo para datos etiquetados).
3. Conteo de Preguntas ($R_{qc}$): Penaliza las desviaciones del número óptimo de subpreguntas.
4. Diversidad ($R_{div}$): Utiliza la Relevancia Marginal Máxima (MMR) sobre incrustaciones para penalizar preguntas redundantes.
5. Cobertura ($R_{cov}$): Un LLM como juez evalúa si el conjunto de respuestas por sí solo puede reconstruir el veredicto correcto.
6. Necesidad mediante Leave-One-Out ($R_{nec}$): Un componente crítico donde el juez determina si eliminar una pregunta específica cambia el veredicto. Las preguntas que son necesarias (su eliminación invierte el veredicto) reciben recompensas altas; las preguntas dañinas (aquellas que desvían el veredicto) reciben recompensas negativas.
7. Calidad Multiplicativa Conjunta ($R_{joint}$): Una recompensa multiplicativa que combina Respondibilidad, Atomicidad (enfoque único, sin conjunciones) y Correctitud. Esto asegura que un solo fallo en cualquier dimensión reduzca la puntuación de la pregunta a cero.

3. Aprendizaje Semi-supervisado

Para abordar la escasez de datos etiquetados de oro, DECOMPOSERL soporta entrenamiento semi-supervisado. Para afirmaciones sin etiquetar:

• La Cobertura se aproxima mediante autoconsistencia: La votación mayoritaria de $G$ ejecuciones sirve como pseudo-etiqueta.
• La Necesidad se calcula en relación con el veredicto reconstruido por la propia política en lugar de una verdad fundamental.
• La recompensa de Verificación se elimina para datos sin etiquetar, mientras que las demás recompensas permanecen agnósticas a las etiquetas.

Contribuciones Clave

1. Conjunto de Recompensas Multifacéticas: Un sistema de recompensas novedoso que captura la calidad de la descomposición a través de múltiples dimensiones (necesidad, cobertura, diversidad, atomicidad) utilizando una combinación de reglas deterministas, métricas basadas en incrustaciones y evaluaciones de LLM como juez.
2. Capacidad Semi-supervisada: Un mecanismo de autoconsistencia que permite al modelo aprender de afirmaciones sin etiquetar aprovechando el acuerdo intra-prompt, haciendo viable el enfoque para dominios con anotaciones costosas.
3. Curación de Datos Eficiente: Un embudo de destilación que reduce los requisitos de datos de entrenamiento en ~96% (de 155K a ~5.5K afirmaciones) mientras mejora la densidad de señales, permitiendo un entrenamiento efectivo de RL con recursos computacionales limitados.
4. Rendimiento y Escalabilidad: Demostración de que un modelo de 7 mil millones de parámetros entrenado con este marco puede igualar o superar el rendimiento de modelos significativamente más grandes (32B) y modelos fronterizos propietarios (GPT-4.1-mini) mientras proporciona trazas inspeccionables.

Resultados Experimentales

Los autores evaluaron DECOMPOSERL en 11 benchmarks de verificación de afirmaciones (9 de dominio interno, 2 de dominio externo), incluyendo conjuntos de datos biomédicos, políticos y científicos.

• Precisión: El modelo DECOMPOSERL-7B logró una precisión balanceada del 86.3% en dominio interno y del 69.8% en dominio externo.
• Comparación con Líneas Base:
  • Superó a todas las líneas base basadas en descomposición (por ejemplo, Descomposición de Indicaciones, HiSS, ClaimDecomp) por márgenes significativos (+4.4% en dominio interno, +2.8% en dominio externo sobre la línea base más fuerte).
  • Superó a clasificadores de extremo a extremo como MiniCheck-7B.
  • Igualó el rendimiento de modelos de 32 mil millones de parámetros y del modelo fronterizo GPT-4.1-mini en tareas de dominio interno, a pesar de ser 4 veces más pequeño que la línea base de 32B y un orden de magnitud más pequeño que el modelo fronterizo.
• Rendimiento Semi-supervisado: Cuando se entrenó solo con el 10% de datos etiquetados ($s=0.1$), DECOMPOSERL-7B mantuvo una precisión en dominio interno del 84.6% y una precisión en dominio externo del 69.7%, superando aún así a todas las líneas base de 7B.
• Estudios de Ablación: Eliminar la recompensa de Necesidad causó la mayor caída en el rendimiento de dominio externo (-4.8%), destacando su papel crítico en la generalización. Eliminar Cobertura y Diversidad también impactó significativamente la robustez, confirmando la necesidad del conjunto completo para el rendimiento en dominio externo.

Significado y Afirmaciones

El artículo afirma que DECOMPOSERL cierra exitosamente la brecha entre precisión e interpretabilidad en la verificación de afirmaciones. Al enmarcar la descomposición como un problema de RL guiado por un conjunto de recompensas multifacéticas, los autores demuestran que:

• La trazabilidad no necesita comprometer la precisión: El modelo produce trazas de verificación auditables y paso a paso sin sacrificar el rendimiento en comparación con clasificadores opacos.
• Eficiencia de parámetros: Se puede lograr un alto rendimiento con modelos más pequeños (7B) si la señal de entrenamiento (diseño de recompensas y curación de datos) se optimiza, en lugar de depender únicamente de escalar el tamaño del modelo.
• Escalabilidad a entornos de bajos recursos: El enfoque semi-supervisado permite que el sistema se adapte a nuevos dominios donde las anotaciones de estándar de oro son escasas o costosas, utilizando la autoconsistencia para impulsar el aprendizaje.

Los autores posicionan este trabajo como una solución a la "brecha de trazabilidad" en la verificación automatizada de hechos, ofreciendo un método que es tanto preciso como transparente, adecuado para aplicaciones de alto riesgo donde los usuarios deben inspeccionar el proceso de razonamiento.