💬 NLP

STaD: Scaffolded Task Design for Identifying Compositional Skill Gaps in LLMs

Le papier propose le cadre STaD (Scaffolded Task Design), qui génère des variations contrôlées de tâches de benchmark pour identifier de manière systématique et évolutive les lacunes spécifiques dans les compétences de raisonnement compositionnel de divers grands modèles de langage.

Auteurs originaux : Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sungeun An, Swanand Ravindra Kadhe, Shailja Thakur, Chad DeLuca, Hima Patel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧱 STaD : Le "Câblage" pour révéler les faiblesses des IA

Imaginez que vous avez un élève très brillant, disons Jean, qui passe un examen de mathématiques très difficile.

Il obtient 60 % de bonnes réponses.
Vous lui demandez : "Pourquoi as-tu échoué ?"
Jean répond : "Je ne sais pas faire les maths."

C'est un peu ce que font les tests actuels pour les Intellectuels Artificiels (les IA). Ils donnent un score global (comme une moyenne) qui nous dit si l'IA est "bonne" ou "mauvaise", mais ils ne nous disent pas pourquoi elle échoue. Est-ce qu'elle ne connaît pas la règle ? Est-ce qu'elle oublie une étape ? Ou est-ce qu'elle panique quand elle doit combiner deux règles en même temps ?

Les auteurs de cet article proposent une nouvelle méthode appelée STaD (Scaffolded Task Design) pour comprendre vraiment ce qui se passe dans la tête de l'IA.

🏗️ L'Analogie du "Échafaudage" (Scaffolding)

Le mot clé ici est Scaffolding (échafaudage). En construction, un échafaudage est une structure temporaire que l'on monte autour d'un bâtiment pour aider les ouvriers à travailler. Une fois le mur construit, on retire l'échafaudage.

En éducation (et en psychologie), cela signifie aider un élève à faire quelque chose qu'il ne peut pas faire seul encore, en lui donnant des indices étape par étape.

L'idée géniale de STaD :
Au lieu de regarder l'IA comme une boîte noire qui échoue, les chercheurs construisent un "échafaudage" autour des questions de l'examen. Ils aident l'IA à résoudre les premières étapes, puis ils voient si elle peut finir le travail toute seule.

🕵️‍♂️ Comment ça marche ? (L'histoire de l'œuf)

Prenons l'exemple du papier (Figure 1) :

Une question demande de calculer combien d'argent une fermière gagne en vendant ses œufs. Cela demande : 1. Compter les œufs, 2. Soustraire ceux qu'elle mange, 3. Multiplier le reste par le prix.

Scénario 1 : Le test normal
L'IA reçoit la question complète. Elle se trompe. Résultat : "Échec". On ne sait pas pourquoi.

Scénario 2 : L'approche STaD (avec échafaudage)
Les chercheurs disent à l'IA : "Attends, on va t'aider. Voici la réponse à l'étape 1 (le total des œufs). Maintenant, tu dois juste faire l'étape 2 et 3."

Si l'IA échoue encore : Ah, le problème n'est pas le comptage, c'est la soustraction ou la multiplication.
Si l'IA réussit : Super ! Elle savait faire la multiplication, mais elle avait du mal à enchaîner les étapes.

Ensuite, ils aident encore plus : "Voici la réponse à l'étape 1 ET l'étape 2. Fais juste l'étape 3."

Si elle réussit maintenant, on sait exactement où elle a bloqué : elle ne sait pas combiner la soustraction avec la multiplication.

C'est comme si on découvrait que Jean ne sait pas faire de vélo, non pas parce qu'il ne sait pas pédaler, mais parce qu'il ne sait pas garder l'équilibre quand il tourne.

🔍 Ce que les chercheurs ont découvert

En testant cette méthode sur plusieurs IA (comme Qwen, Llama, Granite) avec des exercices de mathématiques et de logique, ils ont trouvé des choses surprenantes :

Deux IA peuvent avoir le même score, mais des problèmes totalement différents.
- L'IA A échoue parce qu'elle ne comprend pas les mots compliqués.
- L'IA B comprend les mots, mais panique quand elle doit faire deux calculs à la suite.
- Analogie : Deux voitures peuvent avoir la même vitesse de pointe, mais l'une a un moteur faible et l'autre a de mauvais pneus.
Les compétences "isolées" vs "combinées".
- Une IA peut être très forte pour faire une soustraction toute seule (comme un musicien qui joue une note parfaite).
- Mais dès qu'on lui demande de faire une soustraction pendant qu'elle écoute de la musique (combiner deux tâches), elle se trompe.
- STaD révèle que le vrai problème n'est pas la note, mais l'orchestration.
Certaines tâches sont "ingérables".
- Même avec tout l'aide possible (l'échafaudage complet), certaines IA échouent toujours. Cela signifie qu'elles ont un trou béant dans leur compréhension fondamentale, pas juste un manque d'indices.

🎯 Pourquoi est-ce important ?

Aujourd'hui, les entreprises disent : "Notre IA est à 90 % de réussite !" et tout le monde est content.
Avec STaD, on peut dire : "Attendez, cette IA est à 90 %, mais elle échoue systématiquement quand elle doit combiner la logique temporelle avec l'arithmétique."

Cela permet de :

Entraîner l'IA mieux : Au lieu de lui faire réviser tout le cours, on lui fait travailler spécifiquement la combinaison qui pose problème.
Choisir la bonne IA : Si vous avez besoin d'une IA pour gérer des plannings complexes, vous éviterez celle qui a du mal à combiner les dates et les heures.

🏁 En résumé

Imaginez que vous voulez savoir pourquoi un joueur de football rate ses tirs au but.

L'ancien test : "Il rate 3 tirs sur 10. Il est mauvais."
Le test STaD : "Il rate parce que son pied gauche est faible quand il court vite. Mais si on lui donne un ballon immobile, il tire parfaitement."

STaD est ce nouveau test qui met en place un "échafaudage" pour voir exactement où l'IA trébuche, afin de pouvoir l'aider à se relever et à devenir vraiment intelligente, et pas juste bonne à donner des scores.

1. Problématique

Les benchmarks actuels pour les grands modèles de langage (LLM) reposent souvent sur des scores agrégés (précision globale) qui masquent la nature réelle des échecs.

Limitation des scores globaux : Un score bas peut indiquer un manque de connaissances, une incapacité à combiner plusieurs compétences, ou une difficulté à situer une compétence dans un contexte spécifique. Deux modèles avec le même score global peuvent avoir des profils de lacunes radicalement différents.
Échec des méthodes existantes : Les approches comme le Chain-of-Thought (CoT) rendent le raisonnement explicite mais sont difficiles à analyser systématiquement et ne reflètent pas toujours le processus interne réel. Les méthodes de décomposition de tâches visent souvent à améliorer la performance plutôt qu'à diagnostiquer les modes d'échec.
Objectif : Identifier non seulement si un modèle échoue, mais où et pourquoi il échoue, en particulier lors de la combinaison de plusieurs compétences de raisonnement (lacunes compositionnelles).

2. Méthodologie : Le cadre STaD

Les auteurs proposent STaD (Scaffolded Task Design), un cadre inspiré du concept psychologique de "scaffolding" (échafaudage), où un soutien structuré est fourni progressivement à un apprenant. Dans STaD, l'échafaudage n'est pas utilisé pour améliorer la performance, mais comme un outil de diagnostic.

Architecture du système

Le cadre utilise trois rôles de modèles LLM :

Modèle Enseignant ( $f_{teach}$ ) : Décompose une question de benchmark en une séquence de sous-tâches (étapes de raisonnement), calcule les réponses intermédiaires et génère des variations échafaudées.
Modèle Juge ( $f_{judge}$ ) : Vérifie la cohérence des réponses intermédiaires et finales par rapport à la vérité terrain.
Modèle Cible ( $f_{target}$ ) : Le modèle à diagnostiquer, évalué sur la tâche originale et sur les variations échafaudées.

Processus de génération des tests

Décomposition de la tâche : Une question $q$ est divisée en $K$ sous-tâches $s_1, ..., s_K$ .
Génération de variations échafaudées : Pour chaque question, STaD crée $K-1$ variations. La $j$ -ième variation fournit les réponses aux $j$ premières étapes, obligeant le modèle à résoudre uniquement les étapes restantes ( $s_{j+1}...s_K$ ).
Vérification : Seules les instances où le modèle enseignant réussit à résoudre la tâche complète à tous les niveaux d'échafaudage sont conservées, garantissant la fiabilité de la décomposition.
Cartographie des compétences : Les sous-tâches sont regroupées en compétences de haut niveau (ex: "arithmétique temporelle", "conversion d'unités") via un clustering sémantique.

Métrique clé : Niveau d'échafaudage minimum ( $k$ )

Pour chaque question, STaD calcule $k$ , le nombre minimal d'étapes intermédiaires fournies pour que le modèle cible réussisse.

$k = 0$ : Le modèle résout la tâche indépendamment.
$k > 0$ : Le modèle a besoin d'un soutien pour les $k$ premières étapes.
$k = -1$ : Le modèle échoue même avec un soutien complet (tâche intractable).

3. Contributions Clés

Concept de compétence échafaudée : Formalisation de la capacité d'un modèle à réussir une tâche avec un soutien, distinguant les échecs dus à un manque de compétence fondamentale de ceux dus à une difficulté d'intégration contextuelle.
Cadre STaD : Un pipeline automatisé pour générer, vérifier et évaluer des variations de tâches échafaudées, applicable à n'importe quel benchmark de raisonnement multi-étapes.
Étude empirique approfondie : Application du cadre sur trois benchmarks (ToT Arithmetic, GSM8K, Math-Hard) et six modèles de tailles variées (Qwen, Llama, Granite), révélant des profils de lacunes uniques pour chaque modèle.

4. Résultats Principaux

Performance et Échecs

Gains sous échafaudage : La performance augmente significativement sur les benchmarks difficiles (ToT, Math-Hard) lorsque des étapes intermédiaires sont fournies, indiquant que les échecs initiaux étaient dus à des lacunes dans le chaînage du raisonnement et non à une absence totale de connaissances.
Différences entre modèles : Des modèles avec des scores globaux similaires présentent des goulots d'étranglement très différents. Par exemple, un modèle peut maîtriser une compétence isolée mais échouer lorsqu'elle doit être combinée avec une autre.

Lacunes de Compétences Compositionnelles

Compétences présentes mais échouant en contexte : Certaines compétences (ex: "calcul sur les durées") semblent correctes en isolation mais deviennent des goulots d'étranglement majeurs lorsqu'elles sont intégrées dans une séquence de raisonnement complexe.
Interactions de compétences : Les échecs proviennent souvent de l'interaction entre compétences. Par exemple, fournir un soutien sur une seule étape (ex: chevauchement temporel) ne suffit pas si l'étape suivante (ex: comptage de créneaux discrets) n'est pas également maîtrisée dans ce contexte combiné.
Tâches apprenables vs intractables : STaD permet de distinguer les tâches qui peuvent être résolues avec un soutien ciblé (compétences apprenables) de celles qui restent inaccessibles même avec un échafaudage complet, suggérant des lacunes plus profondes dans la planification ou la synthèse.

Analyse par Benchmark

ToT Arithmetic : Les goulots d'étranglement fréquents concernent le chevauchement temporel, le comptage de créneaux discrets et l'analyse de dates en langage naturel.
GSM8K : Les modèles sont généralement forts, mais des faiblesses apparaissent dans l'extraction de données quantitatives et la formulation d'équations linéaires.
Math-Hard : La traduction de problèmes verbaux en algèbre est le principal goulot d'étranglement, suivi du raisonnement combinatoire.

5. Signification et Implications

Au-delà des scores agrégés : STaD offre une granularité fine pour comprendre les capacités des LLM, passant d'une évaluation binaire (succès/échec) à une analyse diagnostique des mécanismes de raisonnement.
Amélioration de l'entraînement : Les résultats suggèrent que l'entraînement ne doit pas se limiter à l'acquisition de compétences isolées, mais doit cibler spécifiquement la coordination et l'intégration de ces compétences dans des contextes complexes.
Génération de données synthétiques : Il est possible de générer des données d'entraînement ciblées sur les combinaisons de compétences spécifiques qui causent des échecs, plutôt que sur des compétences générales.
Diagnostic robuste : La méthode permet d'identifier si un modèle a besoin de plus de données, d'une meilleure architecture pour le raisonnement séquentiel, ou d'un ajustement de ses capacités de planification.

En conclusion, STaD transforme l'évaluation des LLM en un processus de diagnostic clinique, révélant que la complexité du raisonnement réside moins dans la possession de compétences individuelles que dans la capacité à les orchestrer efficacement.