Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Cet article démontre que, bien que les instructions système demeurent généralement l'option par défaut la plus sûre pour le placement des instructions, les descriptions de schémas constituent un canal d'instruction puissant et dépendant du modèle capable de supplanter les instructions, rendant ainsi la conception unifiée des schémas et la validation empirique critiques pour optimiser la performance des sorties structurées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot très intelligent, mais légèrement littéral, comment trier un tas de jouets mélangés. Vous avez deux façons de lui donner des instructions : vous pouvez lui parler directement (comme un professeur qui fait un cours), ou vous pouvez lui donner un formulaire spécial avec des cases à remplir, où les instructions sont écrites juste à côté des cases. C'est le monde des « Grands Modèles de Langage » (LLM), qui sont les cerveaux derrière de nombreux outils d'IA modernes. Habituellement, les gens pensent que la « parole » (le prompt) est l'endroit où résident les vraies règles, et que le « formulaire » (le schéma de sortie structuré) n'est qu'un modèle ennuyeux à suivre. Mais ces derniers temps, les développeurs se demandent : est-ce que le robot lit réellement les notes écrites sur le formulaire, ou ignore-t-il simplement cela pour n'écouter que le professeur ? Cette question est importante car si nous plaçons nos règles les plus importantes au mauvais endroit, le robot pourrait trier les jouets complètement de travers, cassant les applications et les outils sur lesquels nous comptons chaque jour.
Une chercheuse nommée Sin-Ying (Alina) Lin a décidé de trancher ce débat avec une expérience ingénieuse. Au lieu de débattre, elle a mis en place un jeu où un robot devait classer de courts messages dans quatre catégories secrètes, en utilisant des noms inventés comme « tomil » et « varek » pour que le robot ne puisse pas deviner les réponses grâce à ses connaissances du monde réel. Elle a ensuite joué à un jeu de « chaises musicales » avec les instructions, déplaçant les définitions exactes du cours du professeur (le prompt système) vers les notes sur le formulaire (la description du schéma), et parfois même en les plaçant dans la boîte de chat de l'utilisateur.
Ce qu'elle a découvert est une petite surprise : les oreilles des robots n'ont pas toutes la même taille. Pour certains modèles, comme GPT-4.1 et GPT-5.4 (sans modes de réflexion spéciaux), la voix du professeur était reine. Lorsque les définitions ont été déplacées vers le formulaire, ces robots se sont emmêlés les pinceaux et leur précision a chuté d'environ 11 à 13 points de pourcentage. Ils semblaient penser : « Le formulaire sert juste à être rempli ; les vraies règles sont dans le discours ! ». Cependant, pour d'autres modèles, comme Claude Haiku 4.5, le formulaire était en fait le patron. Lorsque les instructions sur le formulaire ont été modifiées pour devenir fausses, la performance de ce robot s'est effondrée, passant de 52,5 % de précision à un dérisoire 7 %. Il s'est avéré que pour certains robots, les notes sur le formulaire sont si bruyantes qu'elles couvrent les instructions correctes du professeur.
L'article a également découvert un « tour de magie » pour réparer les robots qui ignoraient le formulaire. En ajoutant une étape obligatoire où le robot devait écrire son raisonnement dans une case avant de pouvoir choisir la réponse finale, la performance a bondi de 15 à 24 points de pourcentage. C'était comme si forcer le robot à « montrer son travail » le rendait attentif aux règles écrites sur le formulaire.
Le grand enseignement n'est donc pas qu'un endroit est toujours meilleur que l'autre. Au contraire, l'article suggère que chaque modèle de robot a sa propre personnalité et écoute différents canaux avec des volumes différents. Le pari le plus sûr pour l'instant est de garder vos règles les plus importantes dans le prompt système (la voix du professeur), mais vous devez faire attention à ne pas écrire de règles contradictoires sur le formulaire, sinon certains robots suivront les mauvaises. La vraie leçon est que vous ne pouvez pas simplement deviner ; vous devez tester chaque robot pour voir où il écoute le mieux, et parfois, simplement changer la forme du formulaire pour inclure une « étape de réflexion » est un correctif plus puissant que de réécrire entièrement les instructions.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.