ThinknCheck: Grounded Claim Verification with Compact, Reasoning-Driven, and Interpretable Models

Resumen Técnico: ThinknCheck

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) son fundamentales para la verificación de afirmaciones basadas en documentos, pero enfrentan desafíos críticos:

• Alucinaciones y Opacidad: Su naturaleza "caja negra" y propensión a errores de razonamiento limitan su uso en dominios de alto riesgo (salud, ciencia).
• Ineficiencia Computacional: Los métodos actuales a menudo requieren múltiples llamadas a modelos grandes y costosos, o dependen de modelos cerrados que plantean problemas de privacidad y seguridad.
• Limitaciones de los Modelos Pequeños: Aunque existen tendencias hacia modelos masivos con capacidades de razonamiento (como OpenAI o1 o DeepSeek R1), existe una necesidad urgente de modelos pequeños, eficientes y especializados que puedan operar en entornos con recursos limitados sin sacrificar la precisión ni la interpretabilidad.

El objetivo es desarrollar un verificador de afirmaciones que sea compacto (bajos parámetros), interpretable (genere explicaciones) y preciso, superando las limitaciones de los enfoques actuales que omiten el paso de razonamiento explícito.

2. Metodología

A. Modelo Base y Arquitectura

• Se utiliza un modelo Gemma3 de 1B parámetros cuantizado a 4 bits.
• El enfoque central es ThinknCheck, un verificador que genera primero una cadena de razonamiento estructurada (rationale) y luego emite un veredicto binario (Soportado/No Soportado).
• La formulación del任务 (task) se define como: $R: (C, D) \rightarrow (T, L)$, donde $C$ es la afirmación, $D$ el documento, $T$ la traza de razonamiento y $L$ la etiqueta de verificación.

B. Construcción de Datos (LLMAggreFact-Think)

• Se creó un conjunto de datos de entrenamiento de 24.1k ejemplos derivado de LLMAggreFact.
• Proceso de Augmentación: Se utilizó GPT-4o-mini en modo zero-shot para generar cadenas de razonamiento paso a paso y etiquetas de verificación para cada par (documento, afirmación).
• Filtrado de Calidad: Se eliminaron los casos donde la etiqueta generada por el modelo no coincidía con la etiqueta original del dataset, asegurando trazas de razonamiento de alta calidad.
• Nuevos Benchmarks:
  • GSMClaims: Un nuevo conjunto de datos reformulado a partir de problemas de matemáticas de primaria (GSM8K) para evaluar específicamente el razonamiento aritmético en la verificación de afirmaciones.
  • ThinknCheck-Science: Una variante especializada que entrena el modelo con datos adicionales de SciFact y GSMClaims para mejorar el rendimiento en dominios científicos y numéricos.

C. Entrenamiento y Ablaciones

• Entrenamiento Supervisado (SFT): El modelo se fine-tune para seguir un formato específico que incluye <REASONING> y <SOLUTION>.
• Comparativas (Ablaciones):
  • ThinknCheck-nothink: Entrenado sin generar razonamiento (solo veredicto).
  • Base + CoT: Modelo base con Chain-of-Thought en inferencia (zero-shot).
  • GRPO: Optimización de preferencia con recompensas simples (formato + precisión) para ver si supera al SFT.

3. Contribuciones Clave

1. ThinknCheck: Un verificador de afirmaciones optimizado para el razonamiento que genera explicaciones concisas antes de decidir, mejorando tanto la precisión como la interpretabilidad.
2. Evidencia de la Importancia del Razonamiento: Demostración de que el razonamiento explícito y supervisado es crucial para modelos pequeños (1B), logrando mejoras significativas frente a modelos que no razonan.
3. GSMClaims: Lanzamiento de un nuevo benchmark para evaluar la capacidad de razonamiento aritmético en sistemas de verificación.
4. ThinknCheck-Science: Desarrollo de una variante especializada que supera a los modelos base en tareas científicas y matemáticas.
5. Análisis de Longitud de Razonamiento: Identificación de un patrón en forma de "U invertida": las cadenas de razonamiento de longitud media son las más efectivas; las muy cortas llevan a falsos positivos (sesgo léxico) y las muy largas a falsos negativos (exceso de cautela).

4. Resultados Principales

Rendimiento en LLMAggreFact (Verificación General):

• ThinknCheck (1B): Alcanza una Precisión Equilibrada (BAcc) de 78.1%.
• Comparativa: Supera a MiniCheck-7B (77.4% BAcc) utilizando 7 veces menos parámetros. También iguala o supera a modelos cerrados de gran escala como GPT-4o y Claude Sonnet 3.5 en zero-shot.
• Impacto del Razonamiento: Eliminar el paso de razonamiento (ThinknCheck-nothink) reduce la BAcc drásticamente a 57.5% (una caída de 20.6 puntos).
• CoT Zero-Shot: En el modelo base sin fine-tuning, el uso de Chain-of-Thought sin supervisión perjudica el rendimiento (baja de 55.7% a 51.4%).

Generalización Fuera de Dominio (SciFact):

• ThinknCheck: Logra 64.7% BAcc, una mejora absoluta de +14.7 puntos sobre MiniCheck-7B (50.0%).
• El modelo nothink cae a un 21.7%, confirmando que el razonamiento es el motor de la generalización.

Rendimiento en GSMClaims (Razonamiento Aritmético):

• Los modelos estándar luchan en esta tarea.
• ThinknCheck-Science logra 61.0% de precisión, una mejora relativa del 17% sobre la versión base, demostrando que la especialización de datos ayuda sin comprometer la capacidad general.

Optimización de Preferencia (GRPO):

• El uso de GRPO con recompensas simples (formato + precisión) no supera al entrenamiento supervisado (SFT) en modelos de 1B. GRPO tiende a aprender atajos léxicos (predecir "Sí" si la afirmación repite frases del documento) en lugar de razonar.

5. Significado e Impacto

• Eficiencia vs. Rendimiento: El trabajo demuestra que no es necesario utilizar modelos masivos para tareas de verificación complejas. Un modelo de 1B parámetros, si se entrena correctamente con razonamiento supervisado, puede superar a modelos de 7B y competir con modelos propietarios gigantes.
• Interpretabilidad: La generación de una justificación estructurada permite a los usuarios humanos entender por qué una afirmación fue rechazada o aceptada, lo cual es vital para la confianza en aplicaciones críticas.
• Limitaciones de los Modelos Pequeños: Se confirma que el Chain-of-Thought en modo zero-shot es ineficaz para modelos pequeños; el razonamiento debe ser supervisado explícitamente durante el entrenamiento.
• Análisis de Errores: Se identificaron patrones de error específicos por dominio:
  • LLMAggreFact: Sesgo por superposición léxica.
  • SciFact: Exceso de cautela y errores de negación/temporalidad.
  • GSMClaims: Errores de razonamiento aritmético.
• Dirección Futura: El estudio sugiere que la longitud óptima del razonamiento es intermedia y que la integración de herramientas externas (como calculadoras) será necesaria para mejorar el razonamiento matemático en modelos compactos.

En conclusión, ThinknCheck establece un nuevo estándar para la verificación de afirmaciones basada en documentos, demostrando que los modelos pequeños, eficientes y explicables son viables y competitivos cuando se les dota de capacidades de razonamiento supervisado.