Resumen Técnico: Ingeniería de Contexto Adaptativa al Conocimiento (KACE) para el Razonamiento Matemático

Declaración del Problema

La ingeniería de contexto ha emergido como una estrategia viable para mejorar el rendimiento de los Grandes Modelos de Lenguaje (LLMs) congelados sin actualizar sus pesos. Sin embargo, para el razonamiento matemático complejo, los enfoques existentes enfrentan un cuello de botella crítico: la acumulación de contexto monolítica. Cuando la retroalimentación y las lecciones aprendidas se agregan en un único prompt creciente, surgen dos problemas:

1. Inflación de Contexto (Context Bloat): La guía irrelevante termina desplazando la información útil, degradando el rendimiento.
2. Techo del Almacén de Conocimiento (Knowledge-Store Ceiling): La base de conocimientos reutilizable está estrictamente limitada por el tamaño del prompt activo.

Los métodos actuales (por ejemplo, ACE, GEPA) a menudo confunden el almacenamiento (lo que se aprende a través de las ejecuciones) con el uso (lo que se incluye en el prompt para un problema específico). En consecuencia, cada problema debe leer la totalidad del almacén de conocimiento acumulado, independientemente de si la información es relevante para la dificultad o el dominio específico de la tarea. Además, aunque la asignación adaptativa de cómputo (variar el esfuerzo de inferencia según la dificultad) es una estrategia conocida por su eficacia, rara vez se combina con una recuperación de conocimiento estructurada y consciente de la dificultad.

Metodología: Marco de Trabajo KACE

KACE introduce un marco que desacopla el almacenamiento del conocimiento aprendido de su uso, organizando el conocimiento en un Árbol Epistémico estructurado y recuperándolo condicionalmente basándose en una señal de dificultad empírica.

1. El Árbol Epistémico (Almacenamiento)

En lugar de un único prompt, KACE construye una base de conocimientos persistente $K$ que consiste en tarjetas tipificadas (por ejemplo, lemas, invariantes, patrones de descomposición, reglas de verificación). Este árbol está estratificado a lo largo de dos ejes:

• Niveles de Dificultad ($T$): Fácil (ES), Medio (MS), Difícil (HS).
• Dominios Epistémicos ($D$): Dominios matemáticos (por ejemplo, geometría, combinatoria).

El árbol es un objeto de estructura de bloques $K = \{K_b\}_{b \in B}$, donde cada bloque $b = (t, d)$ contiene tarjetas visibles solo en ese nivel de dificultad y dominio específicos. Las tarjetas universales se almacenan por separado y son visibles en todos los niveles.

2. Autoconsistencia Escalonada Bloqueada (El Clasificador y el Solucionador)

KACE emplea un pipeline de autoconsistencia escalonada bloqueada que cumple un doble propósito: resolver el problema y clasificar su dificultad. El pipeline procede en etapas ascendentes:

• Solucionador Fácil (ES): 2 intentos. Sale con acuerdo unánime de 2/2. No lee ninguna tarjeta aprendida.
• Solucionador Medio (MS): 3 intentos. Sale con mayoría de 2/3. Lee las tarjetas del nodo $(MS, d)$.
• Solucionador Difícil (HS): 5 intentos. Sale con pluralidad de 2/5. Lee las tarjetas del nodo $(HS, d)$.
• Respaldo (Fallback): Si ningún nivel sale, se utiliza un grupo de 10 intentos.

El nivel en el que el sistema finaliza proporciona una señal de dificultad empírica. Esta señal, combinada con un clasificador de dominio grueso, proyecta el problema a un bloque específico del Árbol Epistémico. Crucialmente, los problemas fáciles finalizan sin tarjetas, mientras que los problemas escalados recuperan solo la rama correspondiente del árbol, evitando la inflación de contexto.

3. Construcción Offline (Aprendizaje)

El Árbol Epistémico se construye offline a partir de trazas de entrenamiento mediante un proceso de dos fases:

• Fase 1 (ADD): Un bucle de aprendizaje local por bloque. Para cada bloque $(t, d)$, el sistema analiza las trazas fallidas donde el solucionador terminó en ese nivel. Un modelo profesor destila "residuales" (conocimiento faltante) en nuevas tarjetas, las cuales se añaden al bloque correspondiente. Esto sigue un enfoque de minimización de coordenadas por bloques, optimizando piezas locales del árbol sin una reoptimización global.
• Fase 2 (REFINE): Un curador evalúa el árbol provisional bajo la distribución inducida de la política actualizada. Este edita, reubica o descarta tarjetas para asegurar que sigan siendo útiles y no redundantes cuando el solucionador las utilice realmente. Esto aborda el problema del cambio de distribución común en el aprendizaje iterativo.

Contribuciones Clave

1. Árbol Epistémico Estratificado por Dificultad y Dominio: KACE almacena el conocimiento de razonamiento matemático reutilizable fuera del prompt activo mediante tarjetas tipificadas organizadas por dificultad y dominio. Esto separa el cuerpo de conocimiento duradero de la pequeña porción de contexto que lee el solucionador.
2. Autoconsistencia Escalonada Bloqueada como Clasificador de Dificultad: El pipeline escalonado actúa como una alternativa de cómputo equivalente a la autoconsistencia de Best-of-N fija (igualando o superando a Best-of-5 en tres benchmarks), proporcionando simultáneamente una señal de dificultad empírica calibrada. Esta señal preserva el orden de tasa de resolución del propio modelo en el 78% de los pares de AIME 2025 y el 80% de los pares de MATH-HARD, eliminando la necesidad de un clasificador de dificultad entrenado por separado.
3. Evidencia Empírica sobre Razonamiento Difícil: El artículo demuestra que separar el almacenamiento del uso mediante la recuperación condicional supera significativamente a la acumulación de contexto monolítica.

Resultados Experimentales

Los experimentos se realizaron en tres benchmarks desafiantes: AIME 2025, MATH-HARD (Nivel 4–5) y OlymMATH-EN (subconjunto verificable).

• Ganancias de Rendimiento: En AIME 2025, KACE logró una precisión del 62.2%. Esto representa una ganancia absoluta de 10.4 puntos sobre la autoconsistencia fija de Best-of-5 (51.8%) y una ganancia de 5.6 puntos sobre la base de contexto aprendido más fuerte, Tiered + GEPA (56.6%).
• Eficiencia de Cómputo: KACE logra estas ganancias con un presupuesto de llamadas al solucionador comparable al de Best-of-5. El enfoque escalonado permite naturalmente la salida temprana en problemas más fáciles, manteniendo el promedio de llamadas cercano a 5.
• Estudios de Ablación:
  • Eliminar el eje de dominio (aplanar solo por dificultad) redujo la precisión de 62.2% a 54.4%.
  • Eliminar el eje de dificultad (contexto monolítico) redujo la precisión a 51.6%.
  • Reemplazar las tarjetas destiladas por reflexiones directas del solucionador redujo la precisión a 59.3%, resaltando el valor de las tarjetas compactas destiladas por un modelo profesor.
  • Reemplazar la proyección de árbol fijo con recuperación genérica (router LLM o embeddings) produjo un rendimiento inferior (~56%), sugiriendo que la proyección estructurada de dificultad-dominio es superior a la recuperación genérica para esta tarea.

Significancia y Reivindicaciones

El artículo sostiene que el cuello de botella principal en la ingeniería de contexto para el razonamiento matemático difícil no es la cantidad de conocimiento almacenado, sino la capacidad de exponer la parte correcta de ese conocimiento en el momento adecuado.

• Separación Estructural: KACE demuestra que tratar el contexto aprendido como un recurso estructurado, leído condicionalmente según la dificultad y el dominio, es más efectivo que los manuales de instrucciones (playbooks) monolíticos.
• Calibración sin Entrenamiento: La ruta de salida de la autoconsistencia escalonada sirve como una señal de dificultad robusta derivada del modelo que no requiere datos de entrenamiento externos ni un clasificador separado, y que aun así se alinea estrechamente con las tasas de resolución empíricas.
• Auditabilidad: Al almacenar el conocimiento como tarjetas de lenguaje natural organizadas por dificultad y dominio, el comportamiento "aprendido" del sistema es inspeccionable y auditable, una propiedad que no poseen los modelos con actualización de pesos.

Los autores señalan limitaciones, incluyendo la dependencia de patrones de error repetibles para el aprendizaje, la falta de transferencia automática entre benchmarks y la observación de que escalar la base de conocimientos más allá de las fallas de las trazas de entrenamiento (por ejemplo, vía "imaginación") conduce al sobreajuste sin un verificador más fuerte. El trabajo posiciona a KACE como un modelo para estudiar el contexto como un recurso estructurado y de lectura condicional, en lugar de una acumulación estática de texto.