Resumen Técnico: CORE – Reflexión Contrastiva Habilita Mejoras Rápidas en el Razonamiento

Enunciado del Problema

Los modelos de lenguaje poseen la capacidad de mejorar en tareas de razonamiento utilizando recompensas verificables, sin embargo, los enfoques actuales sufren de ineficiencias significativas. Los métodos paramétricos (por ejemplo, GRPO) y los métodos no paramétricos (por ejemplo, GEPA, optimización de prompts) típicamente requieren cientos de muestras de entrenamiento y miles de ejecuciones del modelo para lograr un progreso significativo. Esto los hace computacionalmente costosos y a menudo intratables para una adaptación rápida. En contraste, los humanos a menudo pueden dominar nuevas tareas con solo un puñado de problemas de práctica. El desafío central abordado por este trabajo es cómo permitir que los modelos de lenguaje aprendan de recompensas verificables con una eficiencia de muestras y ejecuciones similar a la humana, manteniendo al mismo tiempo la interpretabilidad y evitando la opacidad de las actualizaciones de pesos.

Metodología: CORE (Reflexión Contrastiva)

CORE es un algoritmo de aprendizaje no paramétrico diseñado para un modelo de lenguaje congelado. En lugar de actualizar los pesos del modelo u optimizar un único prompt global, CORE aprende generando y acumulando "perspectivas" (insights): descripciones breves en lenguaje natural de estrategias de razonamiento o restricciones que distinguen los intentos de resolución exitosos de los fallidos.

El algoritmo opera a través de cuatro componentes principales:

1. Almacenamientos de Memoria Externa:

   • Memoria de Ejecuciones ($R$): Almacena trazas de razonamiento pasadas (problema, perspectivas recuperadas, salida del modelo, recompensa) indexadas por incrustaciones (embeddings) de problemas.
   • Memoria de Perspectivas ($I$): Almacena perspectivas en lenguaje natural emparejadas con estimaciones de utilidad empírica. Para cada perspectiva, el sistema rastrea el número de aplicaciones y la utilidad media relativa a la línea base.

2. Muestreo de Problemas Sesgado hacia el Fracaso:
   Para maximizar la eficiencia del aprendizaje, CORE sesga el muestreo hacia problemas que el modelo resuelve con menos fiabilidad. Calcula un peso de muestreo basado en la estimación actual de precisión, mezclando el muestreo sesgado hacia el fracaso con un muestreo uniforme para asegurar la cobertura del conjunto de entrenamiento.

3. Reflexión Contrastiva (El Mecanismo Central):
   Cuando el modelo falla al resolver un problema, CORE desencadena un paso de reflexión. Recupera una ejecución exitosa ($\tau^+$) de un problema semánticamente similar (o del mismo problema si fue resuelto previamente) y la contrasta con la ejecución fallida ($\tau^-$). El modelo congelado se solicita para generar perspectivas candidatas que describan las estrategias o restricciones que explican la diferencia entre el éxito y el fracaso.

   • Prueba de Admisión: Las perspectivas candidatas no se almacenan inmediatamente. Someten a una prueba de admisión donde el modelo intenta el problema de origen utilizando solo esa perspectiva candidata. Una perspectiva se admite en la memoria solo si mejora la tasa de éxito sobre la línea base (específicamente, si conduce a una solución correcta en el primer intento en los experimentos).

4. Recuperación Consciente de la Utilidad:
   Durante la inferencia, CORE recupera perspectivas basándose en una puntuación que combina similitud semántica (entre el problema actual y los problemas pasados donde se utilizó la perspectiva) y utilidad empírica (la tasa de éxito observada de la perspectiva en problemas similares). Esto permite que el modelo aplique selectivamente perspectivas que han demostrado ser efectivas en el pasado.

Contribuciones Clave

1. Innovación Algorítmica: Introducción de CORE, un algoritmo no paramétrico que permite a los modelos de lenguaje congelados aprender de recompensas verificables generando, probando y acumulando perspectivas abstractas en lenguaje natural en lugar de actualizar pesos u optimizar prompts.
2. Ganancias de Eficiencia: Demostración en cuatro tareas de razonamiento (Torre de Hanói, MathGAP, ZebraLogic, Aritmética de Cerillas) de que CORE supera tanto a las líneas base paramétricas (GRPO) como a las no paramétricas (GEPA, RAG Episódico, MemRL) en eficiencia de muestras (aprendiendo con menos muestras de entrenamiento) y eficiencia de ejecuciones (aprendiendo con menos intentos del modelo).
3. Eficiencia Contextual: Evidencia de que CORE es sustancialmente más eficiente en términos de contexto que las líneas base no paramétricas. Mientras que métodos como RAG Episódico y MemRL añaden decenas de miles de tokens al prompt recuperando trazas completas, CORE comprime la experiencia en perspectivas compactas, añadiendo significativamente menos tokens por evaluación.
4. Interpretabilidad: Los artefactos aprendidos son perspectivas transparentes en lenguaje natural emparejadas con estimaciones de utilidad, ofreciendo una alternativa más interpretable a las actualizaciones de parámetros opacas o a la optimización de prompts.
5. Análisis de Ablación: Identificación de que tanto la reflexión contrastiva (comparar fracaso vs. éxito) como la recuperación consciente de la utilidad son componentes necesarios para el rendimiento del algoritmo.

Resultados Experimentales

Los autores evaluaron CORE en cuatro tareas de razonamiento utilizando el modelo gpt-oss-120b, comparándolo con GRPO, GEPA, RAG Episódico y MemRL a través de regímenes de entrenamiento de 5, 10 y 100 muestras.

• Eficiencia de Ejecuciones: En el régimen de 10 muestras, CORE logró una precisión en datos de retención (held-out) más alta que cualquier línea base en 350 ejecuciones de entrenamiento. Incluso cuando se permitieron 4.000 ejecuciones a las líneas base y se limitó a CORE a 2.100, CORE se estableció en un rendimiento final superior.
• Eficiencia de Muestras: A través de 12 condiciones de tarea por régimen de datos, CORE logró la mayor precisión media en datos de retención en 9 de ellas. Mejoró sobre la línea base sin aprendizaje en aproximadamente un 54–56% a través de 5, 10 y 100 ejemplos de entrenamiento.
• Eficiencia Contextual: CORE añadió un promedio de 0,92k tokens por elemento de evaluación, en comparación con ~33k para RAG Episódico y ~32k para MemRL. Fue aproximadamente 1,4 veces más eficiente en contexto que GEPA.
• Calidad de las Perspectivas: El análisis de las perspectivas admitidas reveló que caían en tres categorías funcionales: Estructuración del espacio de búsqueda (heurísticas para reducir posibilidades), Seguimiento de estados intermedios (actualización de cantidades/movimientos) y Verificación y validación (comprobación de restricciones). Se encontró que estas perspectivas eran abstracciones procedimentales en lugar de resúmenes de episodios específicos.

Significado y Afirmaciones

El artículo postula que la eficiencia del aprendizaje humano se deriva de la capacidad de revisar éxitos y fracasos pasados para descubrir principios abstractos y explícitos. CORE operacionaliza esto destilando contrastes entre trazas exitosas y fallidas en conocimiento reutilizable.

Los autores afirman que CORE ofrece una ruta más eficiente e interpretable para la auto-mejora del modelo que las actualizaciones de pesos, la optimización de prompts o la reutilización directa de trazas de razonamiento almacenadas. Al almacenar "hipótesis de asignación de crédito" (perspectivas) en lugar de datos crudos o pesos, CORE reduce el riesgo de introducir comportamientos no deseados asociados con actualizaciones opacas. El trabajo sugiere que la clave para una mejora rápida no reside solo en qué se aprende, sino en cómo se representa y recupera: como perspectivas en lenguaje natural compactas y ponderadas por utilidad derivadas de la reflexión contrastiva.

Limitaciones señaladas por los autores:

• CORE asume el acceso a recompensas verificables, limitando su aplicabilidad a dominios con retroalimentación binaria clara.
• La actualización de utilidad asigna el mismo resultado a todas las perspectivas recuperadas, dejando sin resolver la asignación de crédito más fina entre múltiples perspectivas.
• La reflexión y la prueba de admisión introducen costos adicionales de inferencia.
• Los experimentos están actualmente limitados a tareas de razonamiento, planificación y resolución de problemas de un solo turno.