🤖 AI

KACE: Knowledge-Adaptive Context Engineering for Mathematical Reasoning

KACE (Knowledge-Adaptive Context Engineering) améliore le raisonnement mathématique des grands modèles de langage en découplant le stockage de la connaissance de son utilisation grâce à un arbre épistémique stratifié par difficulté et par domaine, atteignant une précision de 62,2 % sur AIME 2025 — une amélioration significative par rapport aux bases de référence existantes — tout en évitant l'encombrement du contexte via une auto-cohérence hiérarchisée.

Auteurs originaux : Jayant Parashar, Suchendra M. Bhandarkar

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jayant Parashar, Suchendra M. Bhandarkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le piège de la « surcharge d'informations »

Imaginez que vous essayez de résoudre un problème de mathématiques très difficile. Vous avez un tuteur brillant mais « figé » (un modèle d'IA) qui ne peut pas apprendre de nouvelles choses en modifiant son cerveau (ses poids). Au lieu de cela, vous pouvez seulement lui donner des notes (le contexte) à lire avant qu'il ne tente de résoudre le problème.

Les méthodes précédentes tentaient d'aider en donnant au tuteur un carnet de notes grandissant. Chaque fois que le tuteur faisait une erreur, vous écriviez une leçon dans le carnet et vous l'ajoutiez à la tentative suivante.

Le problème : Finalement, ce carnet devenait énorme. Il était rempli de leçons pour chaque type de problème. Quand le tuteur essayait de résoudre un problème simple, il devait traverser des pages de conseils complexes et non pertinents. Les conseils utiles se perdaient dans le bruit, et le tuteur finissait par être confus. C'est ce qu'on appelle la « prolifération du contexte » (context bloat).

La solution : KACE (La bibliothèque intelligente)

Les auteurs ont créé un système appelé KACE (Knowledge-Adaptive Context Engineering). Au lieu d'un seul carnet géant et désordonné, KACE construit une bibliothèque intelligente et organisée.

Voici comment cela fonctionne, étape par étape :

1. Le système de tri en deux étapes

KACE trie chaque problème de mathématiques en deux catégories avant de le donner au tuteur :

Difficulté : Est-ce un problème Facile, Moyen ou Difficile ?
Sujet : S'agit-il de Géométrie, d'Algèbre ou de Combinatoire ?

Voyez cela comme une bibliothèque avec des étagères. Vous ne jetez pas simplement tous les livres par terre ; vous placez les livres de « Géométrie Facile » sur une étagère et les livres d'« Algèbre Difficile » sur une autre.

2. Le « Bibliothécaire » hors ligne (Phase d'entraînement)

Avant même que le tuteur ne voie une question de test, un « Bibliothécaire » (une IA distincte) étudie les échecs passés du tuteur.

Si le tuteur échoue à un problème de Géométrie Difficile, le Bibliothécaire écrit une « fiche de triche » spécifique (un conseil, une règle ou une stratégie) et la place uniquement sur l'étagère « Géométrie Difficile ».
Si le tuteur échoue à un problème d'Algèbre Facile, une fiche différente va sur l'étagère « Algèbre Facile ».
Point crucial : Le Bibliothécaire crée des milliers de ces fiches, mais elles sont stockées dans la bibliothèque, et non dans la vue immédiate du tuteur.

3. Le test « par paliers » (Phase d'évaluation)

Lorsqu'un nouveau problème arrive, le système ne donne pas simplement toute la bibliothèque au tuteur. Il utilise un processus de cohérence auto-adaptative par paliers (une façon sophistiquée de dire « essaie, réessaie, mais avec un plan») :

Niveau 1 (Facile) : Le système tente de résoudre le problème immédiatement. Si le tuteur réussit deux fois de suite, c'est terminé. Aucune fiche n'est montrée. (Pourquoi lire une bibliothèque pour un calcul de 1+1 ?)
Niveau 2 (Moyen) : Si le tuteur éprouve des difficultés, le système passe au niveau supérieur. Il vérifie la « étagère Moyenne » correspondant au sujet du problème. Il donne au tuteur uniquement ces fiches spécifiques.
Niveau 3 (Difficile) : Si le tuteur est toujours bloqué, il passe à l'« étagère Difficile » pour ce sujet. Il lui transmet alors les stratégies profondes et complexes.

Pourquoi est-ce meilleur ? (L'analogie)

L'ancienne méthode (Prompt monolithique) : Imaginez que vous cherchiez une recette spécifique de « Gâteau au chocolat » en lisant un livre de 500 pages qui contient toutes les recettes du monde, plus des instructions pour construire une voiture et réparer un évier. Vous êtes submergé et vous risquez de rater la recette du gâteau.
La méthode KACE : Vous entrez dans une bibliothèque. Vous demandez au bibliothécaire : « J'ai besoin d'une recette de gâteau au chocolat ». Le bibliothécaire vous conduit directement au rayon « Desserts », ouvre le tiroir « Gâteaux », et vous tend uniquement la fiche du « Gâteau au chocolat ». Vous ignorez totalement les manuels de voiture et les réparations d'évier.

Les résultats

L'article a testé cela sur des compétitions mathématiques très difficiles (comme l'AIME 2025).

La référence (Baseline) : Les méthodes standards (donner 5 tentatives au même prompt géant) ont réussi environ 51,8 % des problèmes.
KACE : En utilisant la bibliothèque intelligente et en ne montrant que les fiches pertinentes, KACE a réussi 62,2 %.

C'est un bond massif. Cela prouve que la qualité de l'information importe plus que la quantité. Donner au modèle une petite dose d'indices parfaitement pertinents est bien meilleur que de lui donner une pile énorme et confuse de « leçons ».

Points clés à retenir

Séparer le stockage de l'utilisation : Gardez tout le savoir dans une grande base de données (la bibliothèque), mais ne montrez à l'IA que la minuscule portion dont elle a besoin pour le problème spécifique en cours.
La difficulté compte : Les problèmes faciles ne doivent pas être encombrés par des leçons difficiles. Le système adapte l'aide en fonction de la difficulté réelle du problème.
Pas de chirurgie cérébrale : Le « cerveau » (les poids) de l'IA n'a pas été modifié. L'amélioration provient entièrement d'une meilleure organisation des notes qu'elle lit.

En résumé, KACE apprend à l'IA à être un meilleur chercheur (savoir où chercher) plutôt qu'un simple meilleur lecteur (essayer de tout lire).

Résumé Technique : Ingénierie de Contexte Adaptative aux Connaissances (KACE) pour le Raisonnement Mathématique

Énoncé du Problème

L'ingénierie de contexte est devenue une stratégie viable pour améliorer les performances des grands modèles de langage (LLM) gelés sans mettre à jour leurs poids. Cependant, pour le raisonnement mathématique complexe, les approches existantes font face à un goulot d'étranglement critique : l'accumulation de contexte monolithique. Lorsque les retours et les leçons apprises sont agrégés dans un seul prompt croissant, deux problèmes surviennent :

L'encombrement du contexte (Context Bloat) : Les directives non pertinentes finissent par évincer les informations utiles, dégradant ainsi les performances.
Le plafond du réservoir de connaissances : La base de connaissances réutilisables est strictement limitée par la taille du prompt actif.

Les méthodes actuelles (par exemple, ACE, GEPA) confondent souvent le stockage (ce qui est appris au fil des exécutions) avec l'usage (ce qui est inclus dans le prompt pour un problème spécifique). Par conséquent, chaque problème doit lire l'intégralité du réservoir de connaissances accumulées, qu'il soit pertinent ou non pour la difficulté ou le domaine spécifique de la tâche. De plus, bien que l'allocation adaptative du calcul (varier l'effort d'inférence en fonction de la difficulté) soit une stratégie efficace connue, elle est rarement combinée à une récupération de connaissances structurée et sensible à la difficulté.

Méthodologie : Le Cadre KACE

KACE introduit un cadre qui sépare le stockage des connaissances apprises de leur utilisation en organisant les connaissances en un Arbre Épistémique structuré et en les récupérant de manière conditionnelle sur la base d'un signal de difficulté empirique.

1. L'Arbre Épistémique (Stockage)

Au lieu d'un prompt unique, KACE construit une base de connaissances persistante $K$ composée de cartes typées (ex: lemmes, invariants, schémas de décomposition, règles de vérification). Cet arbre est stratifié selon deux axes :

Niveaux de Difficulté ( $T$ ) : Facile (ES), Moyen (MS), Difficile (HS).
Domaines Épistémiques ( $D$ ) : Domaines mathématiques (ex: géométrie, combinatoire).

L'arbre est un objet structuré par blocs $K = \{K_b\}_{b \in B}$ , où chaque bloc $b = (t, d)$ contient des cartes visibles uniquement à ce niveau de difficulté et de domaine spécifique. Les cartes universelles sont stockées séparément et sont visibles à tous les niveaux.

2. Auto-Cohérence par Niveaux Verrouillés (Le Classificateur et le Solveur)

KACE emploie un pipeline d'auto-cohérence par niveaux verrouillés qui sert un double objectif : résoudre le problème et classifier sa difficulté. Le pipeline procède par étapes ascendantes :

Solveur Facile (ES) : 2 tentatives. Sortie si accord unanime sur 2/2. Ne lit aucune carte apprise.
Solveur Moyen (MS) : 3 tentatives. Sortie si majorité de 2/3. Lit les cartes du nœud $(MS, d)$.
Solveur Difficile (HS) : 5 tentatives. Sortie si pluralité de 2/5. Lit les cartes du nœud $(HS, d)$.
Repli (Fallback) : Si aucun niveau ne sort, un pool de 10 tentatives est utilisé.

Le niveau auquel le système sort fournit un signal de difficulté empirique. Ce signal, combiné à un classificateur de domaine grossier, projette le problème vers un bloc spécifique de l'Arbre Épistémique. Crucialement, les problèmes faciles sortent sans cartes, tandis que les problèmes escaladés récupèrent uniquement la branche correspondante de l'arbre, évitant ainsi l'encombrement du contexte.

3. Construction Hors Ligne (Apprentissage)

L'Arbre Épistémique est construit hors ligne à partir de traces d'entraînement via un processus en deux phases :

Phase 1 (ADD) : Une boucle d'apprentissage locale au bloc. Pour chaque bloc $(t, d)$ , le système analyse les traces d'échec où le solveur est sorti à ce niveau. Un modèle enseignant distille les "résidus" (connaissances manquantes) en nouvelles cartes, qui sont ajoutées au bloc correspondant. Cela suit une approche de minimisation par coordonnées de bloc, optimisant les parties locales de l'arbre sans ré-optimisation globale.
Phase 2 (REFINE) : Un curateur évalue l'arbre provisoire sous la distribution induite de la politique mise à jour. Il édite, déplace ou déprécie les cartes pour s'assurer qu'elles restent utiles et non redondantes lorsqu'elles sont réellement utilisées par le solveur. Cela répond au problème de décalage de distribution (distribution shift) courant dans l'apprentissage itératif.

Contributions Clés

Arbre Épistémique Stratifié par Difficulté et Domaine : KACE stocke les connaissances de raisonnement mathématique réutilisables en dehors du prompt actif, sous forme de cartes typées organisées par difficulté et domaine. Cela sépare le corps de connaissances durables de la petite tranche de contexte lue par le solveur.
Auto-Cohérence par Niveaux Verrouillés comme Classificateur de Difficulté : Le pipeline par niveaux agit comme une alternative de calcul équivalente à l'auto-cohérence fixe de type Best-of-N (égale ou supérieure à Best-of-5 sur trois benchmarks), tout en fournissant simultanément un signal de difficulté empirique calibré. Ce signal préserve l'ordre de taux de résolution du modèle sur 78 % des paires AIME 2025 et 80 % des paires MATH-HARD, éliminant ainsi le besoin d'un classificateur de difficulté distinct et entraîné.
Preuve Empirique sur le Raisonnement Complexe : L'article démontre que la séparation du stockage et de l'usage via une récupération conditionnelle surpasse significativement l'accumulation de contexte monolithique.

Résultats Expérimentaux

Des expériences ont été menées sur trois benchmarks exigeants : AIME 2025, MATH-HARD (Niveau 4–5) et OlymMATH-EN (sous-ensemble vérifiable).

Gains de Performance : Sur AIME 2025, KACE a atteint 62,2 % de précision. Cela représente un gain absolu de 10,4 points par rapport à l'auto-cohérence fixe Best-of-5 (51,8 %) et un gain de 5,6 points par rapport à la base de référence la plus forte en contexte appris, Tiered + GEPA (56,6 %).
Efficacité de Calcul : KACE réalise ces gains avec un budget d'appels de solveur comparable à celui de Best-of-5. L'approche par niveaux permet naturellement de sortir plus tôt sur les problèmes plus faciles, maintenant le nombre moyen d'appels proche de 5.
Études d'Ablation :
- Supprimer l'axe des domaines (aplatissement sur la difficulté uniquement) a fait chuter la précision de 62,2 % à 54,4 %.
- Supprimer l'axe de la difficulté (contexte monolithique) a fait chuter la précision à 51,6 %.
- Remplacer les cartes distillées par des réflexions brutes du solveur a réduit la précision à 59,3 %, soulignant la valeur des cartes compactes distillées par un enseignant.
- Remplacer la projection d'arbre fixe par une récupération générique (routeur LLM ou embedding) a donné des performances moindres (~56 %), suggérant que la projection structurée difficulté-domaine est supérieure à la récupération générique pour cette tâche.

Signification et Revendications

L'article affirme que le principal goulot d'étranglement de l'ingénierie de contexte pour le raisonnement mathématique complexe n'est pas la quantité de connaissances stockées, mais la capacité d'exposer la bonne partie de ces connaissances au bon moment.

Séparation Structurelle : KACE démontre que traiter le contexte appris comme une ressource structurée, lue de manière conditionnelle selon la difficulté et le domaine, est plus efficace que les playbooks monolithiques.
Calibration sans Entraînement : Le chemin de sortie de l'auto-cohérence par niveaux sert de signal de difficulté robuste dérivé du modèle, qui ne nécessite ni données d'entraînement externes ni classificateur séparé, tout en s'alignant étroitement sur les taux de résolution empiriques.
Auditabilité : En stockant les connaissances sous forme de cartes en langage naturel organisées par difficulté et domaine, le comportement "appris" du système est inspectable et auditable, une propriété absente des modèles dont les poids sont mis à jour.

Les auteurs notent des limites, notamment la dépendance à des modèles d'erreurs répétables pour l'apprentissage, l'absence de transfert automatique entre les benchmarks, et l'observation que le passage à l'échelle de la base de connaissances au-delà des échecs de traces d'entraînement (ex: via l'"imagination") mène au surapprentissage sans un vérificateur plus fort. Ce travail positionne KACE comme un modèle pour étudier le contexte en tant que ressource structurée et lue de manière conditionnelle plutôt que comme une accumulation statique de texte.