🤖 AI

Agentic Context Learning with Self-Discovered Specification

Cet article identifie que le principal défi de l'apprentissage en contexte pour les grands modèles de langage n'est pas simplement l'accès au contenu, mais l'acquisition de spécifications implicites et spécifiques à la tâche réparties à travers le contexte, et démontre qu'une intervention simple appelée PSCI, qui extrait et impose ces spécifications par une vérification adversaire, surpasse de manière significative les bases de référence existantes sur le benchmark CL-Bench.

Auteurs originaux : Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que l'on vienne de vous remettre un manuel d'instructions massif de 40 000 pages pour un tout nouveau jeu vidéo super complexe. Le manuel est rempli de lore, d'histoires de personnages et d'histoire du monde. Ensuite, un ami vous pose une question simple : « Que se passe-t-il si je saute un niveau ? »

Vous pourriez penser que la partie la plus difficile est de trouver la réponse dans ce livre géant. Vous vous diriez : « Si je cherche simplement "sauter un niveau", je trouverai la règle ! » Mais voici le rebondissement : l'article soutient que pour les modèles d'IA modernes, le vrai problème n'est pas de trouver la réponse (le contenu). Le vrai problème est de trouver les règles du jeu qui vous disent comment écrire cette réponse correctement (les spécifications).

Le mystère du « quasi-succès »

Les chercheurs ont testé cela sur un benchmark appelé CL-Bench, qui contient 1 899 tâches complexes où l'IA doit apprendre de nouvelles règles à partir de textes longs. Les résultats ont été surprenants. Même les modèles d'IA les plus intelligents (comme GPT-5.1) n'ont réussi parfaitement qu'environ 22,55 % des tâches.

Mais en examinant de plus près les erreurs, ils ont découvert quelque chose d'étrange. L'IA ne se trompait généralement pas sur les faits. Elle se trompait sur le format.

Le Fait : L'IA savait que l'ID manquant était « 404 ».
La Règle : Le manuel disait : « Si vous voyez un ID manquant, vous devez écrire l'indicateur exact Sequence_Gap_Warning ».
L'Erreur : L'IA a écrit « 404 » mais a oublié l'indicateur.

C'était un « quasi-succès ». L'IA connaissait le contenu mais avait manqué la spécification locale. En fait, l'article a révélé que 55,4 % de toutes les règles du test concernaient ces comportements spécifiques (formats, ordre, phrases exactes), alors que seulement 22,6 % concernaient le contenu factuel.

Pourquoi la « recherche » n'a pas fonctionné

Une hypothèse naturelle serait : « Peut-être que l'IA ne parvient pas à trouver la bonne page dans le manuel. » Ainsi, les chercheurs ont testé 12 méthodes différentes pour aider l'IA à mieux chercher, comme résumer le texte ou extraire des segments pertinents.

Le résultat ? Aucune de ces méthodes axées sur la recherche n'a bien fonctionné. La meilleure de ces méthodes riches en recherche n'a tout de même obtenu qu'environ 23 %. Cela suggère que le simple fait de trouver la bonne page n'est pas le problème. Le problème est que les règles sont souvent cachées en arrière-plan — comme une note de bas de page dans un paragraphe sur la « sémantique des événements » — et l'IA ne réalise pas qu'elle doit les suivre à moins de les chercher explicitement.

La solution du « contrat privé »

Pour prouver cela, les chercheurs ont conçu une astuce simple appelée PSCI (Private Specification-Contract Induction). Voyez cela comme ceci :

Avant que l'IA ne tente de répondre à la question, on la force à participer à une « réunion de pré-match ».

Induire : L'IA lit l'intégralité du manuel et rédige un « Contrat Privé » de toutes les règles cachées qu'elle a trouvées (ex. : « Règle 1 : Toujours utiliser l'indicateur Sequence_Gap_Warning »).
Générer : L'IA rédige sa réponse, mais elle doit suivre ce contrat.
Vérifier : Un « arbitre » (une autre étape de l'IA) vérifie la réponse par rapport au contrat. Avez-vous utilisé l'indicateur ? Avez-vous respecté l'ordre ?
Réparer : Si l'arbitre dit « Non », l'IA corrige la réponse avant de vous la montrer.

Le résultat ? Ce processus simple en quatre étapes a fait grimper le score de GPT-5.1 de 22,55 % à 28,14 %. C'est un bond de 5,59 points de pourcentage, ce qui est énorme dans ce domaine. Cela a également fonctionné sur d'autres modèles comme Qwen3.5-27B (passant de 14,14 % à 19,42 %) et Gemini 3 Pro (passant de 16,14 % à 22,31 %).

Ce que cela écarte

L'article est très clair sur ce qui ne fonctionne pas :

Chercher davantage : Jeter plus d'outils de recherche face au problème n'a pas aidé.
Réfléchir plus intensément : Utiliser le réglage « GPT 5.1 (High) » de l'évaluation originale de CL-Bench n'a permis au modèle d'atteindre que 23,7 %, ce qui reste inférieur aux 28,14 % obtenus par l'astuce PSCI.
Listes de contrôle génériques : Si vous demandez simplement à l'IA de « vérifier son travail » sans d'abord lui faire noter les règles spécifiques de ce contexte, cela n'aide pas. Les règles doivent être spécifiques à la tâche en cours.

À quel point sont-ils sûrs ?

Les auteurs sont assez confiants dans leurs conclusions car ils ont testé cela rigoureusement. Ils n'ont pas seulement deviné ; ils ont mené 17 différentes expériences d'« ablation » (décomposer la méthode pour voir ce qui fonctionne).

Ils ont prouvé que si l'on mélange les règles (donner le mauvais contrat à l'IA), le score s'effondre à 19,80 %, prouvant que les règles doivent correspondre à la tâche spécifique.
Ils ont prouvé que si l'on saute l'étape du « contrat » et que l'on demande simplement à l'IA de vérifier son propre travail plus tard, elle échoue. Le contrat doit être écrit avant la génération de la réponse.
Ils ont même fait vérifier 100 des réponses de l'IA par des experts humains. Les humains sont tombés d'accord avec le jugement de l'ordinateur 96 % du temps, confirmant que l'IA s'améliorait réellement, et qu'elle ne faisait pas que deviner.

L'essentiel

L'article suggère que pour que l'IA apprenne de nouvelles règles à partir de textes longs, elle ne peut pas se contenter d'être une bonne bibliothécaire qui trouve le bon livre. Elle doit être un bon avocat qui lit les petits caractères, rédige un contrat des règles, puis signe ce contrat avant d'effectuer tout travail.

Bien que le score de 28,14 % soit le meilleur à ce jour, les auteurs notent que le problème n'est pas encore « résolu ». Il reste beaucoup de place pour l'amélioration, notamment dans la partie « application » — s'assurer que l'IA suit réellement le contrat qu'elle a écrit pour elle-même. Mais l'idée principale est claire : l'apprentissage en contexte ne consiste pas seulement à trouver la réponse ; il s'agit de découvrir d'abord les règles du jeu.

Résumé Technique : Apprentissage de Contexte Agentique avec Spécification Auto-Découverte

1. Définition du Problème : Le Goulot d'Étranglement de l'Apprentissage de Contexte

Le papier traite de l'Apprentissage de Contexte (Context Learning), une tâche d'inférence où les Grands Modèles de Langage (LLM) doivent apprendre et appliquer des connaissances nouvelles et spécifiques à une tâche à partir de contextes longs et complexes, absentes du pré-entraînement. Contra-irement aux tâches classiques de contexte long (ex. : compréhension de documents) qui se concentrent sur la récupération de faits pertinents, l'apprentissage de contexte exige que le modèle opère au sein d'un nouvel environnement local défini (ex. : un manuel de produit, un code réglementaire ou une spécification d'API) où les règles de validité sont souvent implicites.

Malgré de fortes performances sur les tâches de langage générales, les modèles de pointe peinent considérablement dans ce cadre. Sur CL-Bench (un benchmark spécifiquement conçu pour l'apprentissage de contexte avec 1 899 tâches), même les meilleurs modèles obtiennent un score de réussite stricte de moins de 24 %. Les auteurs émettent l'hypothèse que les échecs ne sont pas simplement dus à une incapacité à accéder au contenu dans les contextes longs, mais plutôt à un échec de l'acquisition de spécifications locales — les contraintes comportementales, les formats, la gestion des cas limites et les conditions de complétude distribués à travers le contexte qui déterminent si une réponse est valide.

2. Analyse Empirique et Diagnostic

Les auteurs ont mené une étude empirique complète sur CL-Bench pour diagnostiquer la cause profonde de ces échecs :

Analyse des Modes d'Échec : Bien que le taux de réussite strict de la tâche soit faible (22,55 %), le taux de réussite au niveau de la grille d'évaluation (rubric) est beaucoup plus élevé (76,01 %). Cela indique que les modèles satisfont souvent la plupart des exigences mais échouent sur quelques éléments critiques. Parmi les tâches échouant sur exactement un item de la grille, 75,3 % des éléments manqués étaient des items de spécification (conformité aux contraintes comportementales locales) plutôt que des erreurs de contenu factuel.
Taxonomie des Exigences : À travers 31 592 items de grille, 55,4 % évaluent l'acquisition de spécification (apprentissage des règles locales), tandis que seulement 22,6 % évaluent l'acquisition de contenu (récupération de faits).
Asymétrie Requête-Contexte : Une découverte clé est que 76,7 % des items de spécification ne sont pas inférables de la requête utilisateur seule ; ils sont distribués à travers le contexte environnant (ex. : dans les exemples, les modèles de validation ou les structures répétées). Cependant, 95,5 % de ces spécifications sont traçables dans le contexte, ce qui signifie qu'il s'agit d'obligations apprenables plutôt que de préférences cachées de l'évaluateur.
Limites des Méthodes Existantes : Les auteurs ont évalué douze baselines couvrant la récupération, la restructuration de contexte, l'auto-correction et la récupération itérative. Aucune n'a dépassé la baseline de prompting direct en contexte complet de plus d'un point de pourcentage. Cela suggère que les méthodes focalisées sur l'émergence du contenu pertinent à la requête échouent car elles manquent les spécifications de validité qui régissent la forme et la procédure de la réponse.

3. Méthodologie : Induction de Spécification Privée-Contrat (PSCI)

Pour valider le diagnostic selon lequel l'acquisition de spécification est le goulot d'étranglement, les auteurs proposent la PSCI, un scaffold délibérément simple, sans entraînement et utilisé au moment du test. La PSCI opère en quatre étapes séquentielles :

Découverte de Spécification (Induction) : Le modèle induit un contrat de spécification privé ( $K$ ) à partir de la tâche ( $x$ ) et du contexte ( $c$ ). Ce contrat est un ensemble structuré d'items d'obligation (formats, vérifications de validité, contraintes d'ordonnancement) requis pour la validité locale. Crucialement, ce contrat est induit avant la génération et n'est jamais observé par la grille publique.
Génération : Le modèle génère un brouillon de réponse initial ( $y_0$ ) conditionné par la tâche, le contexte et le contrat induit $K$ .
Vérification Adversaire : Un vérificateur adversaire audite $y_0$ par rapport à $K$ (et non par rapport à la grille publique), produisant un diagnostic structuré ( $d$ ) identifiant quels items sont satisfaits, partiellement satisfaits ou violés.
Réparation : Une étape de réparation colmate les violations identifiées dans $d$ pour produire la réponse finale ( $\hat{y}$ ), préservant le contenu correct tout en imposant le contrat.

L'innovation centrale est de traiter le contrat de spécification comme un objet de contrôle qui façonne la génération, plutôt que comme un simple évaluateur post-hoc.

4. Résultats Clés

Les auteurs ont évalué la PSCI sur CL-Bench en utilisant GPT-5.1, Qwen3.5-27B et Gemini 3 Pro :

Performance État de l'Art : La PSCI a atteint un taux de réussite strict de 28,14 % avec GPT-5.1 (Medium), un gain absolu de +5,59 points de pourcentage (amélioration relative de 24,8 %) par rapport à la baseline directe (22,55 %). Cette performance a surpassé même GPT-5.1 (High) de l'évaluation originale de CL-Bench (23,7 %).
Généralisation Inter-Modèles : Les gains ont été constants à travers les modèles :
- Qwen3.5-27B : Amélioration de 14,14 % à 19,42 % (+5,28 pp).
- Gemini 3 Pro : Amélioration de 16,14 % à 22,31 % (+6,17 pp).
Gains au Niveau de la Grille : La PSCI a amélioré le taux de réussite global de la grille de +5,12 pp. Notamment, l'amélioration a été plus importante pour les items de spécification (comblant 23,2 % de l'écart) que pour les items de contenu (comblant 15,5 %), confirmant que la méthode cible le goulot d'étranglement identifié.
Comparaison avec les Baselines : Les douze autres baselines alternatives (incluant Self-RAG, Reflexion et la Récupération Itérative) sont restées à moins de 0,78 pp de la baseline directe, ne parvenant pas à égaler la performance de la PSCI.

5. Études d'Ablation et Validation du Mécanisme

Dix-sept ablations ont été menées pour isoler le rôle des spécifications propres à la tâche :

Nécessité de la Spécificité de la Tâche : Le mélange des contrats (utilisation d'un contrat provenant d'une autre tâche) a provoqué l'effondrement des performances sous la baseline (19,80 %), prouvant que les spécifications doivent être alignées avec le contexte spécifique de la tâche.
Ancrage dans le Contexte : Les spécifications zéro-shot dérivées du contexte ont amélioré la performance, mais les spécifications statiques génériques ne l'ont pas fait, confirmant que les spécifications doivent être extraites du contexte actuel.
Application vs Découverte : La découverte seule (induction du contrat sans vérification/réparation) atteignait 26,09 %, mais l'ensemble du pipeline (28,14 %) montre que l'application (enforcement) est critique.
Objet de Contrôle vs Évaluateur Post-Hoc : L'induction des spécifications après la génération (ordre "Réponse d'abord") a échoué (23,67 %), démontant que le contrat doit agir comme un objet de contrôle pour façonner le processus de génération, et non simplement comme un guide de réparation.
Efficacité de Calcul : Les contrôles avec calcul équivalent (ex. : auto-réflexion générique, spécifications statiques répétées) n'ont pas réussi à égaler la PSCI, indiquant que le gain provient de la structure du calcul (découverte et application de spécifications) et non simplement de l'augmentation du coût d'inférence.

6. Signification et Revendications

Le papier revendique trois contributions principales :

Diagnostic : Il identifie l'acquisition de spécification — l'inférence d'obligations locales implicites dans la requête mais traçables dans le contexte — comme le goulot d'étranglement clé de l'apprentissage de contexte, distinct de l'acquisition de contenu.
Méthodologie : Il introduit la PSCI, un scaffold simple, sans entraînement, qui atteint des résultats de pointe en induisant et en appliquant explicitement ces spécifications locales.
Mécanisme : Il démontre, via des ablations étendues, que l'apprentissage de contexte nécessite un processus en deux étapes : la découverte de spécification (ancrée dans le contexte) et l'application de spécification (via la vérification et la réparation).

Les auteurs concluent que l'apprentissage de contexte dépend non seulement de la récupération des bons faits, mais aussi de l'acquisition et du respect des "règles du jeu" locales définies dans le prompt. Ils notent que bien que la PSCI améliore significativement les performances, l'application reste un goulot d'étranglement résiduel, car les modèles parvient souvent à faire émerger les bonnes obligations mais échouent à les exécuter de manière cohérente dans la sortie finale. Le travail suggère que les progrès futurs dans l'apprentissage de contexte nécessiteront des mécanismes capables de mieux intérioriser et appliquer ces conditions de validité locales.