Sintesi Tecnica: Ingegneria del Contesto Adattiva alla Conoscenza (KACE) per il Ragionamento Matematico

Definizione del Problema

L'ingegneria del contesto è emersa come una strategia efficace per migliorare le prestazioni di modelli linguistici di grandi dimensioni (LLM) congelati senza aggiornare i pesi del modello. Tuttavia, per il ragionamento matematico complesso, gli approcci esistenti affrontano un collo di bottiglia critico: l'accumulo di contesto monolitico. Quando feedback e lezioni apprese vengono aggregati in un singolo prompt in crescita, sorgono due problemi:

1. Inflazione del Contesto (Context Bloat): La guida irrilevante finisce per oscurare le informazioni utili, degradando le prestazioni.
2. Limite del Magazzino di Conoscenza (Knowledge-Store Ceiling): La base di conoscenza riutilizzabile è strettamente limitata dalle dimensioni del prompt attivo.

I metodi attuali (ad es., ACE, GEPA) spesso confondono lo stoccaggio (ciò che viene appreso tra le diverse esecuzioni) con l'utilizzo (ciò che viene incluso nel prompt per un problema specifico). Di conseguenza, ogni problema deve leggere l'intero magazzino di conoscenza accumulato, indipendentemente dal fatto che l'informazione sia rilevante per la difficoltà o il dominio specifico del compito. Inoltre, sebbene l'allocazione adattiva del calcolo (variare lo sforzo di inferenza in base alla difficoltà) sia una strategia nota ed efficace, viene raramente combinata con un recupero della conoscenza strutturato e consapevole della difficoltà.

Metodologia: Framework KACE

KACE introduce un framework che disaccoppia lo stoccaggio della conoscenza appresa dal suo utilizzo, organizzando la conoscenza in un Albero Epistemico strutturato e recuperandola condizionalmente in base a un segnale di difficoltà empirica.

1. L'Albero Epistemico (Stoccaggio)

Invece di un singolo prompt, KACE costruisce una base di conoscenza persistente $K$ composta da schede tipizzate (ad es., lemmi, invarianti, schemi di decomposizione, regole di verifica). Questo albero è stratificato lungo due assi:

• Livelli di Difficoltà ($T$): Facile (ES), Medio (MS), Difficile (HS).
• Domini Epistemici ($D$): Domini matematici (ad es., geometria, combinatoria).

L'albero è un oggetto a blocchi strutturati $K = \{K_b\}_{b \in B}$, dove ogni blocco $b = (t, d)$ contiene schede visibili solo a quel determinato livello di difficoltà e dominio. Le schede universali sono memorizzate separatamente e sono visibili in tutti i livelli.

2. Coerenza Auto-Consistente a Livelli Bloccati (Il Classificatore e il Solver)

KACE impiega una pipeline di coerenza auto-consistente a livelli bloccati che serve a duplice scopo: risolvere il problema e classificare la sua difficoltà. La pipeline procede attraverso stadi crescenti:

• Easy Solver (ES): 2 tentativi. Esce con un accordo unanime di 2/2. Non legge alcuna scheda appresa.
• Medium Solver (MS): 3 tentativi. Esce con una maggioranza di 2/3. Legge le schede dal nodo $(MS, d)$.
• Hard Solver (HS): 5 tentativi. Esce con una pluralità di 2/5. Legge le schede dal nodo $(HS, d)$.
• Fallback: Se nessun livello esce, viene utilizzato un pool di 10 tentativi.

Il livello in cui il sistema esce fornisce un segnale di difficoltà empirica. Questo segnale, combinato con un classificatore di dominio grossolano, proietta il problema in un blocco specifico dell'Albero Epistemico. Fondamentalmente, i problemi facili escono senza schede, mentre i problemi che scalano il livello recuperano solo il ramo corrispondente dell'albero, prevenendo l'inflazione del contesto.

3. Costruzione Offline (Apprendimento)

L'Albero Epistemico è costruito offline dai tracciati di addestramento attraverso un processo in due fasi:

• Fase 1 (ADD): Un ciclo di apprendimento locale al blocco. Per ogni blocco $(t, d)$, il sistema analizza i tracciati falliti in cui il solver è uscito a quel livello. Un modello insegnante destilla i "residui" (conoscenza mancante) in nuove schede, che vengono aggiunte al blocco corrispondente. Questo segue un approccio di minimizzazione coordinata per blocchi, ottimizzando le parti locali dell'albero senza una ri-ottimizzazione globale.
• Fase 2 (REFINE): Un curatore valuta l'albero provvisorio sotto la distribuzione indotta della policy aggiornata. Esso modifica, ricolloca o declassa le schede per garantire che rimangano utili e non ridondanti quando il solver le utilizza effettivamente. Questo affronta il problema dello shift di distribuzione comune nell'apprendimento iterativo.

Contributi Chiave

1. Albero Epistemico Stratificato per Difficoltà e Dominio: KACE memorizza la conoscenza del ragionamento matematico riutilizzabile al di fuori del prompt attivo, sotto forma di schede tipizzate organizzate per difficoltà e dominio. Ciò separa il corpo della conoscenza duratura dalla piccola porzione di contesto letta dal solver.
2. Coerenza Auto-Consistente a Livelli Bloccati come Classificatore di Difficoltà: La pipeline a livelli funge da alternativa equivalente al calcolo rispetto alla Best-of-N self-consistency fissa (eguagliando o superando la Best-of-5 su tre benchmark), fornendo simultaneamente un segnale di difficoltà empirica calibrato. Questo segnale preserva l'ordine del tasso di risoluzione del modello su il 78% delle coppie AIME 2025 e l'80% delle coppie MATH-HARD, eliminando la necessità di un separato classificatore di difficoltà addestrato.
3. Evidenza Empirica sul Ragionamento Difficile: Il documento dimostra che separare lo stoccaggio dall'utilizzo tramite il recupero condizionale supera significativamente l'accumulo di contesto monolitico.

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark impegnativi: AIME 2025, MATH-HARD (Livello 4–5) e OlymMATH-EN (sottoinsieme verificabile).

• Guadagni di Prestazione: Su AIME 2025, KACE ha raggiunto una accuratezza del 62,2%. Ciò rappresenta un guadagno assoluto di 10,4 punti rispetto alla Best-of-5 self-consistency fissa (51,8%) e un guadagno di 5,6 punti rispetto alla più forte baseline di contesto appreso, Tiered + GEPA (56,6%).
• Efficienza Computazionale: KACE ottiene questi guadagni con un budget di chiamate al solver comparabile alla Best-of-5. L'approccio a livelli permette naturalmente di uscire anticipatamente sui problemi più semplici, mantenendo il numero medio di chiamate vicino a 5.
• Studi di Ablazione:
  • Rimuovere l'asse del dominio (appiattimento alla sola difficoltà) ha ridotto l'accuratezza dal 62,2% al 54,4%.
  • Rimuovere l'asse della difficoltà (contesto monolitico) ha ridotto l'accuratezza al 51,6%.
  • Sostituire le schede distillate con riflessioni grezze del solver ha ridotto l'accuratezza al 59,3%, evidenziando il valore delle schede compatte distillate dall'insegnante.
  • Sostituire la proiezione fissa sull'albero con un recupero generico (LLM router o embedding) ha prodotto prestazioni inferiori (~56%), suggerendo che la proiezione strutturata difficoltà-dominio è superiore al recupero generico per questo compito.

Significato e Rivendicazioni

Il documento sostiene che il collo di bottiglia principale nell'ingegneria del contesto per il ragionamento matematico difficile non è la quantità di conoscenza memorizzata, ma la capacità di esporre la parte giusta di tale conoscenza al momento giusto.

• Separazione Strutturale: KACE dimostra che trattare il contesto appreso come una risorsa strutturata, letta condizionalmente in base alla difficoltà empirica e al dominio, è più efficace dei playbook monolitici.
• Calibrazione senza Addestramento: Il percorso di uscita della coerenza auto-consistente a livelli funge da robusto segnale di difficoltà derivato dal modello che non richiede dati di addestramento esterni o un classificatore separato, pur allineandosi strettamente ai tassi di risoluzione empirici.
• Auditabilità: Memorizzando la conoscenza come schede in linguaggio naturale organizzate per difficoltà e dominio, il comportamento "appreso" del sistema è ispezionabile e verificabile, una proprietà non presente nei modelli con pesi aggiornati.

Gli autori segnalano i limiti, tra cui la dipendenza da pattern di errore ripetibili per l'apprendimento, la mancanza di trasferimento automatico tra i benchmark e l'osservazione che scalare la base di conoscenza oltre i fallimenti dei tracciati di addestramento (ad esempio, tramite l'"immaginazione") porta all'overfitting senza un verificatore più forte. Il lavoro posiziona KACE come un modello per studiare il contesto come una risorsa strutturata e letta condizionalmente piuttosto che come un accumulo statico di testo.