💬 NLP

RELIC: Evaluating Complex Reasoning via the Recognition of Languages In-Context

L'article présente RELIC, un cadre d'évaluation du raisonnement complexe des grands modèles de langage en testant leur capacité à reconnaître des langages hors contexte dans un contexte, révélant que même les modèles avancés échouent à mettre à l'échelle le calcul d'inférence avec la difficulté de la tâche et basculent souvent du raisonnement algorithmique à la devinettes à mesure que la complexité augmente.

Auteurs originaux : Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Publié 2026-04-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jackson Petty, Michael Y. Hu, Wentao Wang, Shauli Ravfogel, William Merrill, Tal Linzen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous embauchiez un assistant très intelligent et bien informé pour résoudre une énigme. Vous lui remettez un nouveau code de règles (une « grammaire ») et une phrase spécifique (une « chaîne »). Votre question est simple : « Cette phrase respecte-t-elle les règles du livre ? »

C'est exactement ce dont traite l'article RELIC. Il présente une nouvelle méthode pour évaluer dans quelle mesure les grands modèles de langage (LLM) — les cerveaux d'intelligence artificielle derrière des outils comme ChatGPT — peuvent réellement penser à travers des problèmes complexes et multi-étapes lorsqu'ils reçoivent de nouvelles instructions à la volée.

Voici la décomposition des résultats de l'article à l'aide d'analogies simples :

1. Le Test : L'« Énigme du Code de Règles »

Les chercheurs ont créé un jeu où l'IA doit agir comme un détective de grammaire.

Le Déroulement : Ils génèrent des milliers de codes de règles uniques et inventés. Il ne s'agit pas d'anglais ou d'espagnol, mais d'ensembles abstraits de règles (comme « A doit être suivi par B », ou « C se transforme en D »).
La Tâche : L'IA voit le code de règles et une phrase composée de symboles aléatoires (comme t43 t51 t66). Elle doit dire « Oui » (cette phrase respecte les règles) ou « Non » (elle les enfreint).
La Surprise : Ils rendent les énigmes plus difficiles en élargissant les codes de règles et en allongeant les phrases.

2. L'Attente : L'Analogie de l'« Escalade de Montagne »

Pensez à la résolution de ces énigmes comme à l'escalade d'une montagne.

Petites Montagnes (Énigmes Faciles) : Si le code de règles est minuscule et la phrase courte, l'IA peut facilement atteindre le sommet. Elle utilise une carte logique (un algorithme) pour vérifier chaque étape.
Grandes Montagnes (Énigmes Difficiles) : À mesure que le code de règles devient énorme et que la phrase s'allonge, la montagne devient plus raide. Pour la résoudre correctement, l'IA doit utiliser plus d'énergie mentale (plus de « jetons de réflexion ») pour vérifier chaque possibilité. C'est comme avoir besoin d'un sac à dos plus grand et de plus d'eau pour gravir un sommet plus élevé.

3. La Découverte : « Démission Silencieuse »

C'est la découverte la plus surprenante et la plus critique de l'article. Les chercheurs s'attendaient à ce que, à mesure que les énigmes devenaient plus difficiles, l'IA « fasse plus d'efforts » en utilisant davantage de puissance de réflexion.

Au contraire, l'IA a commencé à faire une « démission silencieuse ».

L'Analogie : Imaginez un employé à qui l'on demande de résoudre un problème mathématique simple. Il sort une calculatrice et fait le travail. Mais lorsque vous lui donnez une équation massive et complexe, au lieu de sortir une super-calculatrice et de travailler plus longtemps, il se contente de deviner. Il arrête d'essayer de faire les maths et commence à inventer des réponses basées sur des intuitions.
Les Preuves :
- Lorsque les énigmes devenaient difficiles, l'IA n'utilisait pas plus de temps de réflexion ; elle en utilisait en fait moins.
- L'IA a cessé d'utiliser un raisonnement logique, étape par étape (comme construire un arbre de possibilités), et s'est mise à dépendre de raccourcis inefficaces (des heuristiques).
- Même les modèles de « raisonnement » les plus avancés (ceux conçus pour réfléchir profondément) ont fait cela. Ils commençaient avec un bon plan, étaient submergés, puis passaient silencieusement à la devinette.

4. Le Résultat : « Juste pour les Mauvaises Raisons »

L'article a révélé que lorsque l'IA fait une « démission silencieuse », elle obtient souvent la bonne réponse par accident, mais pour les mauvaises raisons.

Exemple : L'IA pourrait rejeter une phrase simplement parce qu'elle est « trop longue », même si les règles autorisent en réalité les phrases longues. Elle a obtenu la réponse « Non » correcte, mais sa logique était complètement brisée.
Le Problème : Si vous ne pouvez pas voir le processus de réflexion de l'IA (ce qui est vrai pour de nombreux modèles commerciaux), vous pourriez penser qu'elle est intelligente parce qu'elle a obtenu la bonne réponse. Mais en réalité, elle ne fait que deviner, et elle échouera sur le prochain problème difficile.

5. La Conclusion : Des Cerveaux Fragiles

L'article conclut que les modèles d'IA actuels sont fragiles.

Ils comprennent l'idée de la tâche lorsqu'elle est facile.
Mais ils ne peuvent pas adapter leurs efforts pour correspondre à la difficulté du problème.
Ils ne disposent pas d'un « moteur interne » fiable qui dirait : « C'est difficile, je dois y consacrer plus de temps. » Au lieu de cela, ils abandonnent et devinent.

Résumé

L'article présente RELIC comme un test de résistance pour le raisonnement de l'IA. Il montre que même les modèles d'IA les plus intelligents d'aujourd'hui sont comme des élèves qui peuvent résoudre des devoirs faciles, mais qui, face à un examen difficile, arrêtent d'essayer de résoudre les problèmes et se contentent de remplir les cases au hasard. Ils font une « démission silencieuse » face aux tâches difficiles, ce qui les rend peu fiables pour un raisonnement complexe et réel où vous avez besoin qu'ils suivent réellement les règles, et non qu'ils devinent simplement.

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus chargés de résoudre des problèmes complexes nécessitant la récupération et la composition de multiples éléments d'informations en contexte (par exemple, analyser des états financiers ou suivre des instructions multi-étapes). Cependant, l'évaluation de ces capacités est difficile car :

Absence de vérifiabilité : Les tâches du monde réel manquent souvent de vérité terrain ou de métriques précises.
Complexité incontrôlable : Il est difficile d'augmenter systématiquement la difficulté des tâches pour observer comment les performances du modèle se dégradent.
Contamination des données : Les benchmarks statiques souffrent souvent du fait que les modèles ont vu des exemples similaires lors du pré-entraînement.

Les auteurs proposent que les modèles actuels échouent à adapter leur puissance de calcul d'inférence (effort de raisonnement) de manière appropriée à mesure que la complexité de la tâche augmente, ayant souvent recours à une « démission silencieuse » — passant d'un raisonnement algorithmique valide à des devinettes ou des heuristiques superficielles lorsque les tâches deviennent difficiles.

2. Méthodologie : Le cadre RELIC

Les auteurs introduisent RELIC (Reconnaissance de Langues en Contexte), un cadre conçu pour évaluer les LLM sur la reconnaissance de Langages Hors-Contexte (CFL).

Définition de la tâche : Un LLM se voit présenter une Grammaire Hors-Contexte (CFG) spécifique et une chaîne de caractères. Le modèle doit déterminer si la chaîne appartient au langage généré par cette grammaire (Accepter/Rejeter).
Génération de benchmark synthétique (RELIC-500) :
- Pour garantir la nouveauté et prévenir la contamination des données, les grammaires sont générées de manière stochastique plutôt que tirées d'un ensemble de données fixe.
- Les grammaires sont paramétrées par quatre valeurs : nombre de symboles terminaux ( $n'_{term}$ ), symboles non terminaux ( $n'_{nonterm}$ ), règles lexicales ( $n'_{lex}$ ) et règles non lexicales ( $n'_{nonlex}$ ).
- Le benchmark inclut 200 grammaires avec des paramètres allant jusqu'à 500, générant des chaînes positives (valides) et négatives (invalides) d'une longueur allant jusqu'à 50.
Fondement théorique :
- La reconnaissance de CFL est connue pour appartenir à la classe de complexité AC1 et être NC1-difficile.
- L'analyse théorique suggère que pour qu'un Transformer résolve ce problème, la longueur de sa Chaîne de Pensée (CoT) doit croître de manière superlinéaire avec la longueur de la chaîne et linéairement avec la taille de la grammaire.
- Cela fournit un « budget » de calcul idéal théorique contre lequel le comportement réel des modèles peut être comparé.

3. Configuration expérimentale

Modèles évalués : Huit LLM ont été testés, notamment :
- Propriétaires : La famille gpt-4.1 d'OpenAI (nano, mini, full), o3 et o4-mini.
- Poids ouverts : Gemma 3 de Google (1B et 4B) et une version distillée de DeepSeek-R1.
Protocole d'évaluation : Prompting en zéro-shot. Les modèles ont été invités à classer des chaînes uniquement sur la base des règles de grammaire fournies, sans exemples few-shot.
Métriques d'analyse :
- Précision équilibrée par classe et scores Macro F1.
- Corrélation entre les performances et la complexité de la grammaire (taille) et la longueur de la chaîne.
- Calcul au moment du test (TTC) : Mesure du nombre de tokens générés pendant le raisonnement par rapport à la difficulté de la tâche.
- Classification des stratégies : Utilisation d'un LLM en tant que juge (et validation humaine) pour catégoriser les traces de raisonnement comme Basées sur des règles (dérivation valide) ou Heuristiques/Devinettes.

4. Résultats clés

A. Dégradation des performances avec la complexité

Petites vs Grandes tâches : Les modèles se comportent raisonnablement bien sur les petites grammaires et les chaînes courtes. Cependant, les performances chutent précipitamment à mesure que la taille de la grammaire (spécifiquement les productions non lexicales) et la longueur de la chaîne augmentent.
Performance aléatoire : Même les modèles de raisonnement les plus avancés (par exemple, o3, o4-mini) tombent à une précision proche du hasard (environ 50 %) sur des grammaires d'environ 500 règles, bien que celles-ci soient plusieurs ordres de grandeur plus petites que les grammaires des langages de programmation réels.
Biais : Les modèles présentent de forts biais de classe (par exemple, prédire « Oui » pour les chaînes longues et « Non » pour les courtes) plutôt que d'analyser les règles de la grammaire.

B. Le phénomène de « démission silencieuse »

Inadéquation du calcul : Théoriquement, résoudre des instances plus difficiles nécessite plus de calcul (CoT plus long). Empiriquement, les modèles réduisent leur dépense de calcul à mesure que les tâches deviennent plus difficiles.
- Le Calcul Relatif au Moment du Test (TTC) atteint son pic tôt (à des longueurs de chaîne très courtes) puis diminue à mesure que la longueur de la chaîne augmente.
- Les modèles cessent d'augmenter l'effort d'inférence bien avant d'atteindre leurs limites de tokens.
Changement de stratégie : À mesure que la complexité augmente, les modèles passent de stratégies Basées sur des règles (construction d'arbres de dérivation) à des stratégies Heuristiques (deviner en fonction de la longueur de la chaîne ou de la présence de symboles).
Modèles à raisonnement fermé : Même les modèles qui masquent leurs traces de raisonnement (o3, o4-mini) montrent la même baisse de dépense de calcul, impliquant qu'ils « démissionnent silencieusement » en passant à des stratégies invalides en interne.

C. Limites du fine-tuning

Les auteurs ont effectué un fine-tuning des modèles Gemma 3 directement sur la tâche RELIC (paires grammaire-chaîne-étiquette).
Résultat : Le fine-tuning n'a apporté aucune amélioration statistiquement significative des performances. Cela suggère que l'échec n'est pas dû à un manque de familiarité avec la tâche, mais à une incapacité fondamentale à exécuter les stratégies de raisonnement requises à grande échelle.

D. Corrélation avec le raisonnement général

Les performances sur RELIC sont corrélées avec les performances sur des benchmarks de raisonnement général (MMLU Pro, GPQA, IFEval). Cela indique que RELIC est un proxy valide pour les capacités générales de raisonnement complexe, et non pas seulement une tâche de langage formel de niche.

5. Contributions clés

Cadre RELIC : Un benchmark évolutif, vérifiable et résistant à la contamination pour évaluer le raisonnement complexe en contexte en utilisant la théorie des langages formels.
Preuve empirique de la « démission silencieuse » : Démontre que les modèles de raisonnement de pointe échouent à mettre à l'échelle leurs ressources de calcul proportionnellement à la difficulté de la tâche, revenant plutôt à des heuristiques.
Analyse des stratégies : Quantifie le passage du raisonnement algorithmique à la devinette en fonction de la complexité, révélant une fragilité dans les modèles de « raisonnement » actuels.
Écart théorie-pratique : Met en évidence le décalage entre les exigences de complexité théorique pour la reconnaissance de CFL (que les Transformers pourraient théoriquement satisfaire) et le comportement empirique des LLM actuels.

6. Importance et implications

Fragilité du raisonnement : Les résultats remettent en question l'idée que les « modèles de raisonnement » (comme o3 ou o4-mini) possèdent des capacités de raisonnement robustes et évolutives. Ils semblent reposer sur des heuristiques qui se brisent sous la complexité.
Paradigme d'évaluation : RELIC offre un moyen d'évaluer le raisonnement « caché » dans les modèles propriétaires en observant leur comportement de calcul (utilisation des tokens) plutôt que simplement la sortie finale.
Voies futures : Le papier suggère que l'augmentation simple de la taille du modèle ou des données d'entraînement est insuffisante. Les améliorations futures pourraient nécessiter :
- Un entraînement sur des complétions structurées (dérivations guidées).
- Une guidance explicite sur les stratégies de raisonnement.
- Des mécanismes pour forcer les modèles à maintenir des stratégies de raisonnement valides même lorsque les tâches deviennent difficiles, empêchant ainsi le comportement de « démission silencieuse ».

En résumé, le papier soutient que les LLM actuels ne « raisonnent » pas véritablement de manière évolutive et algorithmique lorsqu'ils sont confrontés à des tâches complexes et nouvelles en contexte ; ils optimisent plutôt un raccourci qui échoue à mesure que la complexité du problème augmente.