How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

Imaginez un programme informatique capable de lire une liste de règles et de les suivre parfaitement, peu importe la longueur de la liste. C'est la promesse de l'intelligence artificielle moderne, plus précisément d'un type de système appelé grand modèle de langage. Ces programmes sont entraînés sur de vastes quantités de texte et peuvent répondre à des questions, écrire des histoires ou résoudre des problèmes. À mesure que ces systèmes deviennent plus grands, avec plus de composants internes et plus de données, ils deviennent généralement meilleurs dans les tâches complexes. Les scientifiques se demandent depuis longtemps s'il existe une limite absolue au nombre d'instructions indépendantes qu'un seul modèle peut contenir dans son « esprit » à la fois. Si vous donnez dix règles à suivre à un modèle, peut-il le faire ? Et vingt ? La capacité à suivre des règles augmente-t-elle de manière constante à mesure que le modèle s'agrandit, ou s'effondre-t-elle soudainement ?

Une étude récente a prétendu avoir trouvé une réponse précise à cette question. Elle suggérait qu'à mesure que les modèles s'agrandissent, leur capacité à suivre plusieurs règles croît selon un motif mathématique spécifique, comme une courbe prévisible. Les chercheurs ont proposé qu'un petit modèle pourrait échouer après seulement quelques règles, tandis qu'un modèle plus grand pourrait en gérer beaucoup plus, et que cette relation suivait une loi stricte. Cette idée était passionnante car elle offrait un moyen de prédire exactement la capacité d'une future machine en fonction de sa taille. Cependant, une nouvelle enquête a examiné de près les chiffres et les méthodes originaux utilisés pour obtenir ces résultats, et elle raconte une histoire différente. Le nouveau travail conclut que si l'idée de base d'une limite est réelle, la loi spécifique décrivant la croissance de cette limite n'est pas soutenue par les preuves.

L'enquête a commencé par réexaminer les journaux de données originaux, qui sont les enregistrements de ce que les modèles ont réellement écrit en réponse aux tests. Les chercheurs ont construit une nouvelle façon plus stricte de lire ces réponses. Dans l'étude originale, le programme informatique utilisé pour noter les réponses disposait d'un filet de sécurité : si le programme ne trouvait pas assez de réponses claires dans une réponse, il scannait à nouveau l'intégralité du texte, cherchant les mots « oui » ou « non » où qu'ils apparaissent. S'il les trouvait, il les comptait comme des réponses correctes, même si le modèle n'avait jamais réellement destiné ces mots à répondre aux questions spécifiques. Ce filet de sécurité s'est déclenché dans près d'un quart des tests. Il comblait essentiellement les lacunes des modèles, attribuant du crédit à des mots écrits par accident ou comme partie d'une phrase, plutôt que comme des réponses directes.

Lorsque les nouveaux chercheurs ont supprimé ce filet de sécurité et ont forcé l'ordinateur à ne compter que les réponses clairement et correctement formatées, les résultats ont changé. Le phénomène d'une limite existait toujours. Un petit modèle éprouvait des difficultés et finissait par échouer à suivre de nombreuses règles, tandis qu'un modèle plus grand de la même famille performait beaucoup mieux. Cela a confirmé que l'observation de base était réelle : les modèles ont bien une limite de capacité, et la taille compte. Cependant, la courbe spécifique décrivant la croissance de cette capacité avec la taille a disparu. La affirmation originale selon laquelle la capacité à suivre des règles doublait ou triplait de manière prévisible à mesure que le modèle s'agrandissait était une illusion créée par la manière dont les réponses étaient comptées.

Les chercheurs ont ensuite testé cette méthode corrigée sur une gamme beaucoup plus large de modèles, incluant huit familles différentes de systèmes disponibles via des services en ligne. Ils ont découvert que la loi mathématique originale ne tenait pas la route. Sur un type de tâche, les modèles ne montraient pas la croissance prédite ; au lieu de cela, ils heurtaient un plafond où ils ne pouvaient pas gérer plus d'un certain nombre de règles, quelle que soit leur taille. Sur un autre type de tâche, les modèles semblaient suivre toutes les règles parfaitement, mais c'était parce qu'ils répétaient simplement les instructions sous forme de long paragraphe plutôt que de suivre réellement chaque règle individuellement. Dans plusieurs cas, les modèles ont échoué non pas par manque d'intelligence pour suivre les règles, mais parce qu'ils ne respectaient pas le format strict requis pour obtenir une note de réussite. Ils écrivaient de longs essais réfléchis quand le test exigeait une liste simple, et le système de notation comptait cela comme un échec total.

L'enquête a également examiné la théorie utilisée pour expliquer le comportement des modèles. L'étude originale suggérait que la limite était déterminée par une caractéristique architecturale spécifique des modèles, un nombre calculé à partir de leur structure interne. Le nouvel audit a découvert que les deux modèles utilisés pour prouver cette théorie avaient exactement la même valeur pour cette caractéristique, pourtant ils performaient de manière très différente. Cela signifiait que la théorie ne pouvait pas réellement expliquer la différence entre eux. L'explication proposée était trop large pour être utile ; elle permettait n'importe quel résultat, de sorte qu'elle ne pouvait pas prédire le résultat spécifique observé.

La conclusion finale est que la capacité de ces machines à suivre plusieurs contraintes est une chose réelle et mesurable, mais que la loi mathématique précise qui prétendait la décrire n'est pas encore étayée. La découverte originale était un mélange d'une découverte authentique et d'une erreur de mesure. L'erreur provenait d'un choix commun et invisible dans la lecture des réponses par l'ordinateur, un choix qui a accidentellement comblé les données manquantes et créé un faux motif. Les chercheurs soulignent que cela ne signifie pas que les modèles sont parfaits ou que nous comprenons pleinement leurs limites. Cela signifie simplement que la réclamation spécifique concernant une loi d'échelle prévisible a été construite sur des bases fragiles. Pour progresser, les études futures devront utiliser des règles plus strictes pour lire les réponses, compter chaque réponse manquante comme un échec, et tester beaucoup plus de modèles avant de déclarer une loi universelle. Le chemin pour comprendre ces machines est clair, mais il nécessite d'examiner les données sans les filets de sécurité qui peuvent masquer la vérité.