Recursive Concept Evolution for Compositional Reasoning in Large Language Models

1. El Problema: Limitaciones Geométricas en el Razonamiento Composicional

Los modelos de lenguaje grandes (LLM) actuales, aunque logran un rendimiento sólido en muchas tareas, fallan sistemáticamente en problemas que requieren razonamiento composicional (como ARC-AGI-2, GPQA, MATH, BBH y HLE).

• La Causa Raíz: La arquitectura de los transformadores utiliza un espacio de representación latente de dimensión fija, determinado durante el preentrenamiento. Todas las técnicas actuales de razonamiento (como Chain-of-Thought, Tree-of-Thought o Aprendizaje por Refuerzo) operan dentro de esta geometría congelada.
• El Fallo: Cuando una tarea requiere una abstracción o una dirección de representación que no existe en el espacio latente preentrenado, el modelo no puede "crearla". En su lugar, intenta interpolar entre los patrones más cercanos que ya conoce, generando respuestas que parecen plausibles pero son estructuralmente incorrectas.
• La Limitación de Métodos Actuales: Aumentar la búsqueda a nivel de tokens (generar más pasos de razonamiento) no soluciona el problema si el mapa subyacente (el espacio latente) carece de las direcciones necesarias para representar la solución.

2. Metodología: Evolución Recursiva de Conceptos (RCE)

El authors proponen RCE, un marco que permite a un modelo preentrenado (con pesos congelados) modificar su propia geometría de representación durante la inferencia. RCE introduce subespacios de conceptos de bajo rango dinámicamente generados.

Mecanismos Clave del Framework:

1. Definición del Concepto:

   • Cada concepto $C_i$ se define por una matriz de base de bajo rango $B_i \in \mathbb{R}^{d \times r}$ (donde $r \ll d$) y una función de puerta $g_i(x)$.
   • Se inyectan en la corriente residual de una capa específica del decodificador mediante la actualización: $h' = h + \sum g_i(x) B_i B_i^\top h$.
   • Los pesos del modelo base permanecen congelados; solo se modifican las representaciones intermedias.

2. Mecanismos de Evolución (Ciclo de Vida del Concepto):

   • Despistado (Spawn): Se activa cuando se detecta una "inadecuación representacional" (alta entropía predictiva y bajo margen de confianza). Un generador pequeño (MLP) sintetiza nuevas bases candidatas basadas en el estado oculto actual.
   • Selección por Longitud Mínima de Descripción (MDL): Los candidatos compiten. Solo se aceptan si la reducción en el error de reconstrucción supera el costo de complejidad que añaden al modelo (principio de Occam). Esto evita el sobreajuste y asegura que los conceptos generalicen.
   • Fusión (Merge): Si dos conceptos co-activan consistentemente y su contribución conjunta es mayor que la suma de sus partes (sinergia), se fusionan mediante SVD truncada en una abstracción de orden superior. Esto construye una jerarquía composicional.
   • Cristalización: Los conceptos útiles y estables se consolidan (mediante checkpointing o adaptación de LoRA restringida) para persistir en sesiones futuras.

3. Regularización:

   • Penalización de ortogonalidad entre conceptos para evitar redundancia.
   • Penalización de superposición intra-concepto para evitar colapso dimensional.
   • Penalización de entropía de la puerta para fomentar activaciones dispersas y específicas.

3. Contribuciones Clave

1. Identificación de la Limitación Estructural: Formalizan que la falta de evolución de la representación latente es el cuello de botella principal para el razonamiento composicional en LLMs.
2. Propuesta de RCE: Introducen un marco que transforma el razonamiento de una optimización de trayectorias de tokens a una adaptación a nivel de representación. Permite la creación, evaluación y composición de nuevos subespacios latentes durante la inferencia.
3. Validación Empírica: Integran RCE en Mistral-7B y demuestran mejoras consistentes en múltiples benchmarks, logrando una generalización composicional superior y una mayor robustez ante cambios de distribución.

4. Resultados Experimentales

El modelo se evaluó en Mistral-7B, Llama-3-8B y Qwen-2.5-14B contra baselines como Chain-of-Thought (CoT), Self-Consistency (SC), Tree-of-Thought (ToT) y métodos de Aprendizaje por Refuerzo (GRPO, DisCO).

• Rendimiento en Benchmarks (Mistral-7B):
  • ARC-AGI-2: Mejora de 12-18 puntos (de 12.4% a 28.0%).
  • GPQA: Mejora de 8-14 puntos (de 24.1% a 41.4%).
  • BBH y MATH: Mejoras significativas (ej. MATH de 28.6% a 47.4%).
  • HLE: Mejora consistente en generalización a patrones raros.
• Robustez ante Cambios de Distribución:
  • En pruebas de permutación de colores y rotación espacial en ARC-AGI-2, RCE mantuvo el 94.3% y 91.7% de su precisión respectivamente, mientras que los baselines cayeron al rango del 68-78%. Esto demuestra que RCE aprende invariantes estructurales y no solo pistas superficiales.
• Eficiencia Computacional:
  • RCE logra el mejor rendimiento con un sobrecosto computacional de solo 1.04x (4% adicional) respecto a una sola pasada del modelo base.
  • En contraste, métodos como Self-Consistency o Tree-of-Thought requieren 16x a 25x más cómputo para un rendimiento inferior.

5. Significado e Implicaciones

• Cambio de Paradigma: RCE demuestra que la capacidad de razonamiento no necesita estar limitada por el presupuesto representacional fijo del preentrenamiento. Permite que el modelo "invente" nuevas herramientas conceptuales cuando las existentes fallan.
• Escalabilidad: El enfoque es altamente eficiente. La biblioteca de conceptos crece de forma sublineal y el costo de inferencia es marginal (proyecciones de matriz de bajo rango), lo que lo hace viable para modelos grandes.
• Generalización Estructural: A diferencia de los métodos basados en RL que optimizan la probabilidad de secuencias de tokens, RCE optimiza la geometría del espacio latente, permitiendo una verdadera generalización estructural y una mayor robustez ante distractores y cambios de distribución.
• Futuro: Abre la puerta a sistemas cuyo capacidad de razonamiento crece acumulativamente a través de la experiencia, superando el techo impuesto por las representaciones estáticas iniciales.

En resumen, RCE es un avance arquitectónico que dota a los LLMs de la flexibilidad cognitiva necesaria para construir nuevas abstracciones en tiempo real, resolviendo el problema fundamental de la rigidez geométrica en el razonamiento complejo.