UNSPECIFIC: General Constraint Synthesis for Breaking Copy-and-Paste Shortcut in LLM Instruction Following

Imaginez que vous enseigniez à un robot à écrire des histoires. Vous lui donnez une liste de règles, comme « Le héros doit être courageux » ou « L'histoire doit se terminer par une tempête de pluie ». C'est ce qu'on appelle l'instruction following (le respect des consignes). Dans le monde de l'Intelligence Artificielle, les grands modèles de langage (LLM) sont ces robots, et les chercheurs essaient constamment de voir s'ils peuvent suivre des listes de règles complexes et longues sans s'embrouiller ou inventer n'importe quoi.

Mais voici la partie délicate : comment tester si le robot est réellement en train de réfléchir aux règles, ou s'il prend simplement un raccourci ? Parfois, le test lui-même est défectueux. Si vous demandez à un robot d'écrire une histoire basée sur un exemple spécifique qu'il vient de lire, il pourrait simplement copier-coller les détails de l'exemple dans sa propre histoire. C'est comme un élève qui, au lieu d'écrire une rédaction sur « un moment où vous avez aidé un ami », se contente de copier un paragraphe du devoir d'un camarade qui dit : « J'ai aidé mon ami à porter des courses ». Le professeur voit les mots « aidé » et « ami » et se dit : « Bon travail ! », mais l'élève n'a pas réellement fait le travail. Ce document traite justement de la façon de corriger ce raccourci afin de voir si les robots sont vraiment intelligents ou s'ils sont juste très doués pour copier.

---

Le grand raccourci du copier-coller

Découvrez UNSPECIFIC, un nouveau cadre conçu pour piéger les modèles d'IA lorsqu'ils tentent de prendre la facilité. Les chercheurs de l'Université du Massachusetts, Amherst, ont remarqué un problème majeur dans la façon dont nous testons actuellement l'IA. Habituellement, pour créer un test, nous prenons un article réel (comme un article de presse) et demandons à une IA de le transformer en une liste d'instructions. Ensuite, nous demandons à une autre IA d'écrire une nouvelle histoire en suivant ces instructions.

Le problème ? La première IA se simplifie souvent. Au lieu de concevoir des règles générales, elle se contente de saisir des détails spécifiques de l'article original. Par exemple, si l'histoire originale concerne « John et Mary se disputant pour du yaourt chez Walmart », les instructions pourraient dire : « Les personnages doivent s'appeler John et Mary » et « Ils doivent se disputer à Walmart ». Lorsque la seconde IA reçoit ces instructions, elle n'a pas besoin d'être créative ; elle se contente de copier « John », « Mary » et « Walmart » directement dans son histoire. C'est un « raccourci de copier-coller » qui fait paraître l'IA comme si elle suivait parfaitement les instructions, alors qu'elle ne fait que l'imiter.

Comment UNSPECIFIC identifie les raccourcis

Pour stopper cela, l'équipe d'UNSPECIFIC a mis au point un tour de magie en trois étapes pour rendre les tests plus justes et plus difficiles.

Étape 1 : Le jeu du « terrain d'entente »
Au lieu d'utiliser une seule histoire pour créer les règles, les chercheurs nourrissent l'IA avec deux histoires similaires. Imaginez que vous ayez deux histoires différentes sur des gens qui se disputent. L'une concerne John et Mary dans un magasin d'alimentation ; l'autre concerne Chris et Julie dans une station-service. Si vous demandez à l'IA de trouver des règles qui s'appliquent aux deux histoires, elle ne peut pas dire « Les personnages doivent être John et Mary » car cela ne correspond qu'à la première histoire. Elle doit plutôt proposer une règle plus générale comme : « Les personnages principaux doivent avoir une dispute ». Cela force les règles à être plus larges et plus naturelles, comme ce qu'un véritable humain demanderait, plutôt qu'un détail spécifique tiré d'un seul texte.

Étape 2 : Le filtre « Trop facile »
Même avec des règles générales, certaines restent trop simples. Peut-être que la règle est « L'histoire doit avoir un début ». Eh bien, toute histoire a un début ! L'IA satisfait cette règle sans même essayer. UNSPECIFIC vérifie cela en demandant à l'IA d'écrire une « histoire de base » avant même de voir les règles. Si l'IA satisfait accidentellement une règle simplement en écrivant une histoire normale, cette règle est signalée comme « trop facile ». Le système remplace ensuite cette règle facile par une plus difficile, comme « L'histoire doit commencer par un personnage qui se réveille à cause d'un bruit étrange », forçant ainsi l'IA à réellement réfléchir.

Étape 3 : Le « Test du résumé »
C'est la partie la plus ingénieuse. Après que l'IA a écrit son histoire, les chercheurs lui demandent de résumer l'histoire en un court paragraphe — environ 25 % de la longueur originale. Si l'IA a seulement satisfait les règles en ajoutant des phrases aléatoires à la fin (comme « Et au fait, l'histoire a une fin heureuse »), ces détails seront supprimés dans le résumé. Si la règle est toujours respectée dans le résumé, cela signifie que l'IA a réellement tissé la règle dans le cœur de l'histoire. Si la règle disparaît, c'est que l'IA a simplement utilisé un raccourci avec des détails superficiels.

Ce qu'ils ont découvert

Lorsqu'ils ont testé ce nouveau système, les résultats ont été révélateurs. Ils ont découvert que de nombreux modèles d'IA utilisaient effectivement le raccourci du copier-coller.

• Le saut de difficulté : En utilisant la nouvelle méthode UNSPECIFIC, le taux de satisfaction d'un modèle puissant appelé GPT-5 Mini est passé de 89,7 % (sous la référence standard de l'article unique) à 78,2 %. Cela ne signifie pas que l'IA est devenue moins bonne ; cela signifie que le test l'a enfin démasquée lorsqu'elle ne faisait pas d'efforts.
• L'écart du copier-coller : Les chercheurs ont découvert qu'une grande partie du « succès » dans les tests précédents n'était pas totalement exacte. En examinant les résumés, ils ont constaté que de nombreux modèles qui semblaient suivre les instructions parfaitement échouaient en réalité au test du « cœur du récit ». Ils avaient satisfait les règles uniquement en surface, et non au cœur de l'histoire.
• La victoire du naturel : Les nouvelles contraintes ressemblaient beaucoup plus à de vraies demandes humaines. En fait, l'écart entre la façon dont les humains évaluaient le caractère naturel de ces nouvelles instructions par rapport aux anciennes s'est amélioré de 30 %.

Le document suggère que le simple fait de rendre les instructions plus difficiles ne suffit pas ; nous devons nous assurer que les instructions sont assez générales pour que l'IA ne puisse pas simplement copier-coller la réponse. En utilisant la méthode des « deux histoires » et le « test du résumé », UNSPECIFIC offre une image beaucoup plus claire de savoir si une IA comprend réellement les instructions ou si elle joue simplement au jeu de « trouver les mots correspondants ».

En fin de compte, UNSPECIFIC ne vise pas seulement à faire travailler l'IA plus dur ; il s'agit de s'assurer que nous savons comment elle travaille. Cela empêche les modèles de prendre des raccourcis et les force à réellement écrire, garantissant que lorsque nous disons qu'une IA « suit des instructions », elle les comprend réellement.