Resumen Técnico: ReFact – Restablecimiento Adaptativo de Hechos para un Razonamiento de Cadena de Pensamiento Compacto y Fiel

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) dependen cada vez más del razonamiento de formato largo para resolver tareas complejas que involucran entradas de contexto extenso. Sin embargo, los modelos existentes suelen tener dificultades para alinear sus procesos de razonamiento con la evidencia contextual proporcionada, particularmente cuando la evidencia es incompleta, ruidosa o entra en conflicto con el conocimiento paramétrico del modelo. Esta desalineación conduce a Cadenas de Pensamiento (CoT) "infieles", donde los modelos pasan por alto el contexto relevante, dependen de conocimiento interno que contradice la entrada o generan pasos de razonamiento alucinados.

Los enfoques actuales para fundamentar el razonamiento generalmente se dividen en dos categorías, ambas con limitaciones:

1. Generación Basada en Citación: Estos métodos añaden citas después de la generación o durante el razonamiento para mejorar la transparencia. Sin embargo, a menudo tratan las citas como referencias externas en lugar de componentes integrales del proceso de razonimiento, sin lograr asegurar que la información citada sea suficiente para soportar las inferencias intermedias.
2. Razonamiento de Reproducción de Hechos: Estos métodos requieren que los LLMs reestructuren explícitamente los hechos de soporte del contexto. Si bien esto mejora la alineación, los requisitos rígidos de restablecimiento de hechos suelen comprometer la compacidad y la coherencia de las trayectorias de razonamiento, lo que genera trazas redundantes y sobrecitadas que no aprovechan la evidencia de manera adaptativa.

El desafío central es permitir que los LLMs determinen cuándo es necesario el fundamento contextual y cómo restablecer los hechos de la fuente con un nivel de detalle apropiado para asegurar un razonamiento fiable, compacto y fiel.

2. Metodología: El Marco ReFact

ReFact (Restablecimiento Adaptativo de Hechos) es un marco diseñado para permitir que los LLMs restablezcan selectivamente los hechos de la fuente en varios niveles de granularidad (entidades, frases, oraciones o párrafos) solo cuando sea necesario para un paso de razonamiento específico. El marco emplea un flujo de entrenamiento de dos etapas: Ajuste Fino Supervisado (SFT) seguido de Aprendizaje por Refuerzo (RL).

2.1 Construcción de Datos de Entrenamiento

Los autores construyen un conjunto de datos ($D_{training}$) sintetizando trayectorias de razonamiento adaptativas basadas en citaciones a partir de conjuntos de datos de QA existentes (HotpotQA_CARE y MuSiQue).

• Modelo Maestro (Teacher Model): Un LLM maestro más fuerte (Gemini-3.1-preview) genera trayectorias de razonamiento de alta calidad. Se le instruye para decidir cuándo citar y cómo restablecer los hechos (granularidad y forma) basándose en los "Hechos de Soporte" proporcionados en el contexto.
• Contextos de Diversidad de Longitud: Para asegurar la generalización en escenarios de contexto largo, el contexto de oro se inserta en documentos distractores de diversas longitudes (32k, 64k, 128k tokens), simulando desafíos del mundo real de contexto largo.
• Filtrado de Calidad: Las trayectorias generadas se filtran utilizando cuatro criterios:
  1. Formato: Uso correcto de etiquetas (<evidence N>...</evidence>) y separación del razonamiento de las respuestas.
  2. Exactitud: La respuesta final coincide con el estándar de oro.
  3. Trazabilidad: Todo el contenido citado debe existir literalmente en los hechos de soporte.
  4. Capacidad de Respuesta (Answerability): Un modelo verificador debe ser capaz de derivar la respuesta correcta utilizando únicamente el contenido citado, asegurando que las citas sean suficientes.

2.2 Flujo de Entrenamiento de Dos Etapas

El modelo estudiante (Qwen3-4B y Qwen3-8B) se optimiza mediante:

1. SFT de Arranque en Frío (Cold-Start SFT): El modelo es entrenado en los pares curados de $(pregunta, contexto\_largo, trayectoria\_de\_razonamiento)$ para aprender el formato de salida y el comportamiento de fundamentar el razonamiento en los hechos.
2. Optimización de Política Relativa de Grupo (GRPO): El modelo se optimiza aún más utilizando una función de recompensa ($R$) que equilibra cuatro componentes:
   • $R_{format}$: Corrección estructural.
   • $R_{acc}$: Corrección de la respuesta.
   • $R_{trace}$: Fidelidad del contenido citado respecto a la fuente.
   • $R_{ans}$: Suficiencia del contenido citado para responder.
     La recompensa final es una suma ponderada: $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$.

3. Contribuciones Clave

• Mecanismo de Citación Adaptativa: A diferencia de trabajos previos que imponen posiciones de citación fijas o atribución post-hoc, ReFact enseña a los modelos a determinar de forma adaptativa la necesidad y la granularidad del restablecimiento de hechos. Esto resulta en trazas de razonamiento más densas y fieles sin redundancia innecesaria.
• Marco SFT-a-RL: El artículo propone un flujo de entrenamiento específico que pasa de aprender formatos de citación (SFT) a optimizar la utilidad de las citas para el razonamiento (RL), asegurando que los hechos citados no solo estén presentes, sino que sean suficientes para la inferencia.
• Razonamiento Compacto y Fiel: El enfoque demuestra que mejorar la fidelidad no requiere trazas de razonamiento más largas; de hecho, ReFact produce trazas significativamente más cortas manteniendo o mejorando la precisión.

4. Resultados Experimentales

Los experimentos se realizaron en LongBench v1/v2, LV-Eval (contextos de 16k–128k) y ConFiQA (fidelidad contrafactual).

• Desempeño en QA de Contexto Largo: ReFact superó consistentemente a los baselines (Zero-Shot, LongAlign, LongFaith, CARE) en LongBench v1 y LV-Eval. Logró puntuaciones F1 más altas en diferentes longitudes de contexto (hasta 128k) mientras generaba significativamente menos tokens de razonamiento (por ejemplo, reduciendo el uso de tokens en un ~60-70% en comparación con CARE).
• Calidad y Eficiencia de la Citación: El análisis mostró que ReFact logró puntuaciones F1 de citación más altas (mejor alineación con la evidencia de oro) mientras restablecía significativamente menos hechos por traza en comparación con Zero-Shot y CARE. Esto indica que el modelo aprende a seleccionar solo la evidencia suficiente para la respuesta.
• Fidelidad Contrafactual: En ConFiQA, donde el contexto contradice el conocimiento paramétrico, ReFact demostró una mayor Preferencia de la Fuente (PS) y un menor Reemplazo Paramétrico (PO). Fue más propenso a seguir el contexto proporcionado sobre los hechos memorizados.
• Análisis de Mecanismo:
  • Perplejidad: Las trazas de ReFact produjeron una menor perplejidad para las respuestas de oro, lo que indica una guía más fuerte para la predicción final.
  • Activación de FFN: El análisis de las activaciones de la Red de Alimentación hacia Adelante (FFN) reveló que ReFact exhibe ratios de activación más bajos en las capas medias y profundas en comparación con Zero-Shot. Dado que estas capas están asociadas con la recuperación de memoria paramétrica, esto sugiere que ReFact depende menos del conocimiento interno que entra en conflicto con el contexto.
  • Estudios de Ablación: Eliminar la recompensa de "Capacidad de Respuesta" o la supervisión de "Alineación de Evidencia" provocó una degradación en el desempeño, confirmando que optimizar la suficiencia de la evidencia y la alineación explícita es crucial.

5. Significado y Reivindicaciones

El artículo afirma que ReFact representa un paso significativo para hacer que el razonamiento de los LLM sea tanto compacto como fiel. Al transformar las citaciones de referencias externas en estados de razonamiento intermedios adaptativos, ReFact permite a los modelos:

1. Reducir la Sobrecarga Cognitiva: Al restablecer solo los hechos necesarios, el proceso de razonamiento permanece conciso.
2. Mejorar la Confiabilidad: El modelo es menos propenso a la alucinación y al reemplazo paramétrico, ya que está entrenado explícitamente para verificar que sus pasos de razonamiento están respaldados por el contexto proporcionado.
3. Mejorar la Eficiencia: La reducción de tokens de razonamiento sugiere que el razonamiento de alta calidad no requiere restablecimientos verbosos y redundantes, haciendo que el razonamiento de contexto largo sea computacionalmente más eficiente.

Los autores concluyen que la clave para un razonamiento de contexto largo fiel no radica en forzar más citaciones, sino en enseñar a los modelos a seleccionar e integrar adaptativamente los hechos correctos con la granularidad adecuada.