Resumen Técnico: Razonamiento de Largo Contexto A través de Ajuste de Cadena de Pensamiento Basado en Proxies

Declaración del Problema

Los modelos de lenguaje grandes (LLM) recientes han expandido sus ventanas de contexto para admitir entradas de hasta 10 millones de tokens. Sin embargo, estos modelos exhiben una degradación significativa del rendimiento en tareas de contexto largo que requieren razonamiento complejo, como sintetizar conocimientos a partir de múltiples informes médicos o analizar documentos financieros.

El problema central identificado es una disparidad sustancial del rendimiento entre contextos largos completos y contextos proxy. Un contexto proxy se define como un subconjunto compacto de la entrada que contiene únicamente la evidencia mínima necesaria para derivar la respuesta correcta. Aunque el proceso de razonamiento subyacente requerido para resolver una tarea permanece invariante independientemente de si el modelo ve el contexto completo o el proxy, los resultados empíricos muestran que los modelos desempeñan notablemente mejor en contextos proxy. Cuando se condicionan a contextos largos completos, los modelos a menudo generan estructuras de razonamiento de alto nivel plausibles pero fallan en fundamentar hechos específicos correctamente, lo que lleva a alucinaciones y menor precisión.

Los métodos existentes para mejorar el razonamiento, como la destilación de Cadena de Pensamiento (CoT) y el Aprendizaje por Refuerzo (RL), enfrentan limitaciones críticas en configuraciones de contexto largo:

1. Destilación de CoT: Depende de trazas de alta calidad procedentes de grandes modelos docentes. Consultar a estos docentes sobre contextos largos completos es computacionalmente costoso, lento y a menudo produce trazas poco fiables para tareas complejas.
2. Aprendizaje por Refuerzo: Escalar el RL a contextos largos es prohibitivamente costoso debido a la necesidad de un muestreo extensivo sobre secuencias largas durante el entrenamiento.

Metodología: ProxyCoT

Los autores proponen ProxyCoT, un novedoso marco de entrenamiento de dos etapas diseñado para transferir capacidades de razonamiento desde contextos proxy cortos a contextos largos completos. El marco opera bajo la hipótesis de que las trazas de razonamiento generadas en entradas proxy eficientes pueden ser "fundamentadas" en contextos largos completos mediante ajuste fino supervisado.

El marco consta de dos etapas:

Etapa 1: Adquisición de CoTs en Contextos Proxy Cortos

El objetivo es generar trazas de razonamiento de alta calidad ($t$) condicionadas al contexto proxy ($C_p$) en lugar del contexto completo ($C$). Esta etapa ofrece dos variantes para obtener las trazas:

• ProxyCoT-ZS (Zero-Shot): Se consulta a un modelo docente grande, disponible fuera de la caja ($M_{ZS}$), para generar trazas de razonamiento basadas en el contexto proxy ($t \sim p_\phi(t | q, C_p)$). Solo se retienen las trazas que resultan en respuestas correctas. Esto evita el costo de consultar docentes sobre contextos largos completos.
• ProxyCoT-RL (Aprendizaje por Refuerzo): Si no está disponible un docente capaz, el modelo objetivo ($M_{init}$) se optimiza directamente sobre contextos proxy utilizando Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). El modelo aprende a maximizar la probabilidad de generar trazas que conduzcan a respuestas correctas ($t \sim p_\theta(t | q, C_p)$).

Etapa 2: Fundamentación de CoTs en Contextos Largos Completos

En esta etapa, los patrones de razonamiento aprendidos en la Etapa 1 se transfieren al contexto completo. Un modelo estudiante se entrena mediante Ajuste Fino Supervisado (SFT) para reproducir las trazas de razonamiento generadas en la Etapa 1, pero condicionado al contexto largo completo ($C$) en lugar del proxy.

• Objetivo: Minimizar el log-verosimilitud negativo de la traza $t$ dada la pregunta $q$ y el contexto completo $C$:
  $$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$$
• ProxyCoT-ZS: El modelo estudiante ($M_{init}$) se ajusta fino para imitar las trazas del docente mientras ve el contexto completo.
• ProxyCoT-RL: El modelo optimizado con RL ($M_{RL}$) de la Etapa 1 se ajusta fino adicionalmente para aplicar sus patrones de razonamiento aprendidos al contexto completo.

Contribuciones Clave

1. Formalización de Contextos Proxy: El artículo introduce y formaliza el concepto de contextos proxy para el razonamiento de tareas largas, revelando empíricamente una brecha significativa de rendimiento entre proxies cortos y contextos largos completos a pesar de requerimientos de razonamiento idénticos.
2. Marco ProxyCoT: Un marco de entrenamiento novedoso que aprovecha contextos proxy cortos para adquirir trazas CoT de alta calidad, las cuales luego se utilizan para mejorar el razonamiento sobre contextos largos completos. Este enfoque evita la necesidad de inferencia docente costosa en secuencias largas y reduce los costos de muestreo de RL.
3. Validación Empírica: Experimentos extensos demuestran que ProxyCoT supera consistentemente a bases fuertes (incluyendo SFT directo, RL en contextos completos y destilación de CoT en contextos completos) en diferentes familias de modelos (Qwen3-4B, Gemma3-4B) y conjuntos de datos (SciTrek, HotpotQA). El método también muestra una fuerte generalización a tareas fuera de dominio.

Resultados Experimentales

Los autores evaluaron ProxyCoT en SciTrek (preguntas y respuestas de contexto largo sobre artículos científicos) y HotpotQA (preguntas y respuestas multi-salto sobre Wikipedia).

• Mejoras de Rendimiento:
  • En SciTrek, ProxyCoT-RL logró una coincidencia exacta del 46.5% en contextos completos con Qwen3-4B, superando significativamente a la línea base zero-shot (30.8%) y al SFT en contextos completos (19.5%). Incluso se acercó al rendimiento del modelo mucho más grande Qwen3-235B-Thinking (48.8%).
  • En HotpotQA, ProxyCoT-RL logró una precisión del 52.7% en contextos completos, superando a todas las líneas base.
• Eficiencia: ProxyCoT-RL no solo mejoró la precisión, sino que también indujo trazas de razonamiento sustancialmente más cortas en el momento de la inferencia. En SciTrek, utilizó un promedio de 617 tokens de CoT en comparación con 1,744 para zero-shot y 5,520 para ProxyCoT-ZS, mientras lograba una mayor precisión.
• Estudios de Ablación: Los resultados confirmaron que ambas etapas de entrenamiento son necesarias. Entrenar solo en contextos proxy (Etapa 1) produjo alta precisión en proxy pero una fundamentación pobre en contexto completo. Entrenar solo en contextos completos (Etapa 2) sin trazas derivadas de proxy resultó en un rendimiento inferior. La combinación fue esencial para obtener resultados óptimos.
• Generalización Fuera de Dominio: Los modelos entrenados en SciTrek utilizando ProxyCoT-RL mostraron un rendimiento mejorado en la referencia Loong (informes financieros y artículos académicos), demostrando que el método mejora las capacidades generales de razonamiento de contexto largo en lugar de memorizar patrones específicos de tareas.

Significado y Afirmaciones

El artículo afirma que ProxyCoT ofrece una ruta práctica y eficiente para fortalecer el razonamiento de contexto largo sin depender de trazas generadas por docentes sobre contextos largos completos. Al desacoplar la adquisición de razonamiento (en proxies cortos y baratos) de la fundamentación del razonamiento (en contextos largos y costosos), el marco aborda los cuellos de botella computacionales de los métodos actuales de entrenamiento de contexto largo.

Los autores posicionan a ProxyCoT como una solución para escenarios donde entrenar y supervisar modelos de contexto largo es desafiante debido a restricciones de costos y datos. Señalan que, aunque el enfoque asume el acceso a contextos proxy que contienen evidencia suficiente, proporciona una alternativa robusta al aprendizaje por refuerzo o a la destilación directa de contexto largo, cerrando efectivamente la brecha de rendimiento entre entradas cortas y largas.