🤖 machine learning

The Steering Budget: Examples beat Knobs

Cet article soutient que la contrôlabilité des modèles génératifs est fondamentalement limitée par un « budget » inhérent à leurs données d'entraînement, démontrant que si les méthodes traditionnelles de « boutons de réglage » (comme les prompts ou les échelles de guidage) ne peuvent accéder qu'à une fraction de cette plage, le fait de fournir des exemples concrets permet aux modèles d'atteindre tout le spectre du potentiel d'une propriété, y compris des cibles qui ne peuvent être spécifiées verbalement.

Auteurs originaux : Raj Kumar Rajendran

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raj Kumar Rajendran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot artiste super intelligent qui peut dessiner tout ce que vous lui demandez, d'un golden retriever à une structure cristalline. Depuis des années, les scientifiques essaient de contrôler ce robot en lui donnant des « boutons » à tourner. Vous pourriez dire : « Rends cela plus brillant », ou « Fais en sorte que cela ressemble à une photo », ou « Tourne le cadran de guidage au maximum ». C'est comme essayer de diriger un navire en tournant un seul gouvernail. Mais il y a une limite frustrante : peu importe la force avec laquelle vous tournez le bouton, le robot finit par s'arrêter. Il frappe un mur. Vous voulez qu'une image soit vraiment brillante, mais le robot ne parvient qu'à un état « assez » brillant et refuse d'aller plus loin.

Ce document pose une question simple mais révolutionnaire : pourquoi le robot s'arrête-t-il ? Est-ce parce que le robot est cassé, ou existe-t-il un carnet de règles caché qu'on lui a donné avant même qu'il ne commence à dessiner ? Les auteurs ont découvert que le robot n'est pas cassé ; il travaille simplement selon un « budget » strict défini par les données dont il a appris. Ils ont découvert qu'il y a deux façons de parler à ce robot : Dire et Montrer. « Dire » consiste à utiliser les boutons et les mots pour restreindre ce que vous voulez. « Montrer » consiste à donner au robot une pile d'exemples et à dire : « Crée plus de choses comme celles-ci ». La grande surprise ? « Montrer » peut atteindre des endroits que « Dire » ne peut même pas imaginer, et nous pouvons calculer exactement jusqu'où chaque méthode peut aller avant même d'allumer le robot.

Le Grand Mur du « Dire » contre la Magie du « Montrer »

Considérez la connaissance du robot comme une immense bibliothèque de livres. Chaque livre est un type spécifique de chose, comme « Scènes de plage », « Montagnes enneigées » ou « Structures cristallines ».

Dire (Le Bouton) : Lorsque vous utilisez un bouton, vous vous trouvez à l'intérieur d'une section spécifique de la bibliothèque, disons la section « Plage ». Vous pouvez demander au robot de rendre la plage plus ensoleillée ou le sable plus blanc. Mais vous êtes coincé dans cette section précise. Vous ne pouvez pas transformer magiquement une scène de plage en montagne enneigée simplement en tournant un cadran. Vous êtes limité aux variations qui existent déjà à l'intérieur de la section « Plage ».
Montrer (Les Exemples) : Lorsque vous montrez des exemples, vous n'êtes pas coincé dans une seule section. Vous pouvez donner au robot un mélange de livres : certains de la section « Plage », certains de la section « Neige » et certains de la section « Désert ». Vous dites : « Crée plus de choses qui ressemblent à ce mélange ». Soudain, le robot ne se contente plus de peaufiner une seule chose ; il explore toute la bibliothèque. Il peut combiner la luminosité d'une plage avec la texture de la neige d'une manière qu'un simple bouton ne pourrait jamais faire.

Les auteurs appellent cela le Budget. Avant même que le robot ne soit entraîné, les données dont il apprend fixent une limite stricte sur ce qu'il peut changer.

Le Budget « Intra-catégorie » (La portée du Dire) : C'est l'espace dont vous disposez pour bouger à l'intérieur d'une catégorie unique. Si vous voulez qu'une plage soit plus lumineuse, le budget est la limite de luminosité qu'une plage peut atteindre selon les photos que le robot a vues.
Le Budget « Inter-catégories » (La portée du Montrer) : C'est l'espace qui vous permet de sauter d'une catégorie à l'autre. C'est la différence entre la luminosité moyenne d'une plage et la luminosité moyenne d'une mine de charbon. Cet écart est souvent énorme — bien plus grand que la marge de manœuvre à l'intérieur d'une seule catégorie.

Les auteurs ont découvert que pour la plupart des choses que nous voulons contrôler, le budget « Inter-catégories » est le plus important. C'est le fossé massif entre différents types de choses. Les boutons (Dire) ne peuvent atteindre que la minuscule marge de manœuvre à l'intérieur d'une catégorie. Les exemples (Montrer) peuvent atteindre les écarts massifs entre les catégories.

Le Mythe du « Bouton » et la Réalité de l'« Exemple »

Vous pourriez penser : « Si je tourne le bouton plus fort, est-ce que cela ne fonctionnera pas ? » Le document dit : Non.
Ils ont testé cela avec deux robots très différents : un qui dessine des images (comme un artiste numérique) et un qui conçoit des structures cristallines (comme un chercheur en science des matériaux).

Dans le laboratoire de Cristaux : Ils ont essayé de créer des cristaux avec une « bande interdite » (une propriété énergétique spécifique) plus large. Le « bouton » (un simple tag indiquant « haute bande interdite ») déplaçait à peine l'aiguille. Mais lorsqu'ils ont montré au robot des exemples de cristaux qui possédaient réellement des bandes interdites élevées, la production du robot a bondi des dizaines à des centaines de fois plus loin que ce que le bouton aurait pu faire.
Dans le laboratoire d'Images : Ils ont essayé de rendre les images plus « animales ». Un bouton puissant et appris pouvait déplacer l'aiguille un peu, mais seulement s'il commençait accidentellement à créer des images qui ressemblaient à des animaux entièrement différents (brisant ainsi les règles de la « catégorie »). La méthode « Montrer », qui choisissait les meilleures catégories d'animaux à mélanger, a déplacé l'aiguille 3 fois plus loin que le meilleur bouton.

Le document écarte explicitement l'idée que de « meilleurs boutons » résoudront le problème. Ils soutiennent que la limite n'est pas un défaut de conception du robot, mais une loi fondamentale des données. Si les données ne présentent pas un grand écart entre les catégories, un bouton peut fonctionner correctement (comme rendre une image légèrement plus brillante). Mais si l'objectif nécessite de sauter entre différents types de choses, un bouton est structurellement incapable de le faire.

Pourquoi cela compte : Le Problème du « Je le reconnais quand je le vois »

Voici la partie la plus intéressante. Parfois, les experts savent ce qu'ils veulent, mais ne peuvent pas l'expliquer.
Imaginez un monteur de film qui regarde cent prises d'une scène et choisit les dix meilleures. Il ne peut pas expliquer pourquoi ces dix là sont parfaites. Il « sait », tout simplement. Si vous lui demandez de décrire l'« ambiance » à un robot, il dira peut-être : « Rends cela plus émotionnel », mais le robot créera simplement un visage triste générique.

Le « Dire » échoue ici : Vous ne pouvez pas donner au robot un mot pour un sentiment que vous ne pouvez pas décrire.
Le « Montrer » gagne ici : Vous présentez simplement au robot les dix clips que vous avez aimés. Vous n'avez pas besoin d'expliquer le « pourquoi ». Le robot analyse le mélange de ces dix clips et dit : « Ah, je vois le motif. Je vais créer plus de cela ».

Le document montre que le « Montrer » peut atteindre ces objectifs « innombrables » car il n'a pas besoin de définir la cible par des mots. Il a juste besoin de montrer le motif. Il peut même mélanger deux choses opposées à la fois — comme des « véhicules propres » et de la « nourriture propre » — ce qu'un seul bouton échoue généralement à faire, produisant souvent un résultat confus et moyen des deux.

Le Verdict : Mesurer d'abord, puis Choisir

Le document ne se contente pas de dire « Les exemples sont meilleurs ». Il vous donne une recette pour savoir quand les utiliser.
Avant même de commencer la génération, vous pouvez effectuer un « audit » rapide de vos données. Vous pouvez calculer le « Budget » pour voir si la part de changement que vous souhaitez provient de l'intérieur d'une catégorie (marge de manœuvre) ou entre les catégories (les grands sauts).

Si le budget « Inter » est faible : Un bouton convient. Vous n'avez pas besoin de montrer des exemples.
Si le budget « Inter » est énorme : Vous devez montrer des exemples. Un bouton ne vous y amènera jamais.

Les auteurs ont testé cela sur des images et des cristaux, et les mathématiques ont parfaitement tenu. Ils ont même montré que si vous essayez de « régler » un robot pour qu'il soit parfait en une chose (comme faire en sorte que tout paraisse « esthétique »), vous perdez souvent toute la variété et vous vous retrouvez avec un robot ennuyeux et répétitif. C'est parce que le réglage travaille image par image, réduisant ainsi la variété. Le « Montrer », en mélangeant différentes catégories, est la seule façon de maintenir cette variété vivante.

En résumé, ce document nous enseigne que pour diriger une IA générative, nous ne devrions pas seulement tourner les cadrans. Nous devons d'abord regarder la carte des données. Si la destination est lointaine, nous n'avons pas besoin d'un meilleur volant ; nous devons montrer la carte au robot et le laisser choisir le meilleur chemin. Et parfois, le meilleur chemin est un chemin que nous ne pouvons même pas nommer, seulement montrer.

Résumé Technique : Le Budget de Pilotage : Les Exemples battent les Boutons

Énoncé du Problème

Les modèles génératifs sont généralement pilotés par des « boutons » — prompts, échelles de guidage ou étiquettes de propriétés. Cependant, les praticiens observent un plafond dur : pousser ces contrôles à leurs limites échoue souvent à déplacer une propriété cible (ex: la luminosité d'une image, la bande interdite d'un cristal) jusqu'au degré souhaité. L'article postule que cette limitation n'est pas un défaut de l'architecture du modèle ou de son processus d'entraînement, mais une contrainte structurelle imposée par les données d'entraînement elles-mêmes.

Le problème central est de distinguer deux types d'opérations de pilotage :

Dire (Telling) : Décrire une cible via un prompt ou une étiquette (ex: « chien lumineux »). Il s'agit d'une opération conjonctive qui rétrécit la distribution de sortie en intersectant les contraintes au sein d'une catégorie spécifique.
Montrer (Showing) : Fournir un ensemble d'exemples et demander « plus de choses comme celles-ci ». Il s'agit d'une opération disjonctive qui réalise l'union d'instances diverses, permettant au modèle de capturer des cibles qui ne peuvent être articulées par des mots ou qui nécessitent de combiner des propriétés opposées.

L'article soutient que l'écart entre ce que « dire » peut accomplir et ce que « montrer » peut accomplir n'est pas accidentel, mais constitue un budget fixe déterminé par la structure de la variance des données d'entraînement avant même que le modèle ne soit entraîné.

Méthodologie

Cadre Théorique : Le Budget

Les auteurs définissent l'espace de sortie d'un modèle génératif comme étant trié en bacs ( $B$ ) basés sur une étiquette « peu coûteuse » $P$ (ex: classe d'image, chimie cristalline). Une propriété « coûteuse » $L$ (ex: score esthétique, bande interdite) varie à l'intérieur et entre ces bacs.

La variance totale de $L$ dans les données d'entraînement ( $J$ ) est décomposée en utilisant la loi de la variance totale en deux budgets distincts :

Budget Intra-Bac ( $T$ ) : La variance moyenne de $L$ à l'intérieur d'un seul bac. Cela représente l'espace disponible pour dire. Puisque « dire » opère en repondérant les sorties au sein d'un bac fixe, il est structurellement confiné à ce budget.
Budget Inter-Bac ( $E$ ) : La variance des moyennes de $L$ à travers différents bacs. Cela représente l'espace disponible pour montrer. « Montrer » opère en changeant le mélange de bacs (la « recette » $P$ ) à partir duquel le lot est tiré, permettant ainsi d'accéder à ce budget.

La variance totale est exactement :
$\text{Var}_J(L) = \underbrace{\sum_b w_b v_b}_{T \text{ (Intra)}} + \underbrace{\sum_b w_b (g_b - \bar{g})^2}_{E \text{ (Inter)}}$
où $w_b$ est la part du bac, $v_b$ est la variance intra-bac, et $g_b$ est la moyenne du bac.

La Portée des Opérations

L'article démontre que le décalage maximal qu'une opération peut accomplir sur la moyenne de $L$ est borné par $\sqrt{\chi^2} \times \text{Budget}$ , où $\chi^2$ mesure l'écart par rapport à la distribution originale.

Dire : Confiné à $T$ . En pratique, les boutons (comme les échelles de guidage) réalisent un $\chi^2$ faible (proche de 1), limitant leur portée à environ $T$ .
Montrer : Accède à $E$ . En construisant une recette qui s'écarte significativement de la distribution des données, « montrer » peut réaliser un $\chi^2$ beaucoup plus grand (souvent $\sim 100$ ), permettant de déplacer la moyenne bien au-delà de la portée de n'importe quel bouton.

Validation Empirique

Les auteurs testent ces affirmations dans deux domaines sans lien entre eux :

Images : Un transformateur de diffusion (DiT) entraîné sur ImageNet. Les bacs sont les classes ImageNet ; les cibles incluent la luminosité, le score esthétique et les scores de contenu CLIP.
Cristaux : Un générateur entraîné sur une base de données de matériaux (Alexandria). Les bacs sont les compositions chimiques ; les cibles incluent la bande interdite, la stabilité et la densité.

Ils effectuent un « audit peu coûteux » sur les données d'entraînement pour calculer $T$ et $E$ sans générer de l'échantillon, puis vérifient si les modèles réels respectent ces budgets.

Contributions Clés

La Distinction du Budget : Un compte précis et quantitatif qui divise la pilotabilité d'une propriété en une partie « dire » (intra-bac) et une partie « montrer » (inter-bac). Cette séparation est calculable à partir des données d'entraînement seules, avant l'entraînement du modèle.
L'Observation AND/OR : Une formalisation selon laquelle « dire » est conjonctif (intersection/rétrécissement) tandis que « montrer » est disjonctif (union/diversité). Cela explique pourquoi « montrer » peut atteindre des cibles impliquant des conditions « ou » ou des préférences tacites qui ne peuvent être nommées.
Unité sur les Modes d'Échec : L'article recadre quatre problèmes familiers de la modélisation générative — effondrement de mode (mode collapse), taxe d'alignement (alignment tax), optimisation abusive de la récompense (reward hacking) et échec de la généralisation compositionnelle — comme un unique déséquilibre structurel : tenter de résoudre un problème de « montrer » (nécessitant une dispersion au niveau de la collection) en utilisant des méthodes de « dire » (optimisation par sortie individuelle).
Cadre Prédictif : La capacité de prédire a priori si une cible est atteignable par des boutons ou si elle nécessite des exemples. Si la part inter-bac ( $E/(E+T)$ ) est élevée, les exemples sont nécessaires ; si elle est faible, les boutons suffisent.
Recette de Pilotage : Une méthode pratique pour construire la « recette » (mélange de bacs) optimale pour atteindre une cible. Pour des objectifs de moyenne, la recette se concentre sur le meilleur bac unique ; pour des objectifs de dispersion/couverture, elle mélange les bacs pour couvrir la frontière de Pareto.

Résultats

1. La Séparation est Exacte et se Transfère

Exactitude : La décomposition de la variance en $T$ et $E$ s'est avérée exacte dans les deux domaines.
Transfert : Pour les propriétés que le modèle reproduit fidèlement (ex: densité cristalline, luminosité d'image), le budget calculé à partir des données d'entraînement a prédit avec précision le comportement du modèle. Pour les propriétés que le modèle peine à reproduire (ex: stabilité cristalline), l'audit des données était un mauvais prédicteur, nécessitant un audit direct des sorties du modèle.

2. Les Exemples Battent les Boutons (Quand le Budget l'Exige)

Magnitude : Dans le domaine des cristaux, où la part inter-bac était élevée (ex: 0,98 pour la bande interdite), choisir des chimies (montrer) a déplacé la cible 6,8 fois plus loin que le bouton intra-chimie le plus puissant.
Limites des Boutons : Même en utilisant les boutons les plus puissants (ex: échantillonnage « best-of-12 » ou soft-prompts appris), ils ne pouvaient égaler la portée de « montrer » sur des cibles à forte variance inter-bac.
Exceptions : Sur des cibles à faible part inter-bac (ex: luminosité d'image, où $E/(E+T) \approx 0,17$ ), un bouton appris puissant a effectivement surpassé le simple mélange de bacs, confirmant la prédiction du budget selon laquelle les boutons sont suffisants lorsque la variance de la cible est principalement intra-bac.

3. Expressivité et Couverture

Objectifs Conjonctifs : Lorsqu'on demandait un lot couvrant deux propriétés opposées (ex: « véhicules propres » ET « nourriture propre »), le « dire » (prompting) ou la composition de conditions résultait en un « milieu boueux » (chimères). Seul le montrer (mélanger un bac de véhicules et un bac de nourriture) produisait de véritables instances des deux.
Pilotage Tacite : Le cadre a réussi à piloter vers des « goûts » que les experts pouvaient démontrer mais pas nommer (ex: un style esthétique spécifique) en utilisant des exemples pour inférer le mélange de bacs, à condition que la clé simple (étiquette de classe) puisse distinguer les bacs pertinents.

4. Effets de l'Entraînement

L'article démontre que le réglage fin (fine-tuning) standard (filtrage, RLHF) remodèle le budget de manière prévisible. Cependant, si le réglage fin est trop agressif et que le modèle quitte totalement sa distribution d'entraînement, le budget du côté des données ne s'applique plus, et le modèle doit être audité directement.

Signification et Revendications

L'article affirme que le « Budget de Pilotage » fournit une compréhension fondamentale et indépendante du modèle de la pilotabilité générative :

Prédictibilité : Les praticiens peuvent mesurer le budget sur les données d'entraînement pour savoir à l'avance s'ils doivent passer du prompting au pilotage par exemples.
Explication Structurelle : Il explique pourquoi l'optimisation par sortie individuelle (le standard en RLHF et fine-tuning) conduit inévitablement à une perte de variété (effondrement de mode) car elle réduit la dispersion inter-bac ( $E$ ), qui est la seule source de diversité au niveau de la collection.
Expressivité : Il valide que « montrer » est le seul mécanisme capable de piloter vers des cibles qui sont intrinsèquement disjonctives ou tacites, car ces cibles résident dans le budget inter-bac que le « dire » ne peut accéder.

Les auteurs soulignent que ce n'est pas une nouvelle technique de génération, mais un compte quantitatif des limites et des capacités des techniques existantes (prompts vs exemples), dérivé directement des propriétés statistiques des données.