Résumé Technique : Interpréter et Contrôler le Comportement des Modèles via des Constitutions pour les Éditions de Concepts Atomiques

1. Énoncé du Problème

L'avancement rapide des grands modèles génératifs a introduit des défis significatifs concernant la sécurité, la fiabilité et l'interprétabilité. Un obstacle majeur est l'attribution des comportements inappropriés des modèles ; dans les architectures modernes, il devient de plus en plus difficile de remonter les défaillances jusqu'à des caractéristiques d'entrée spécifiques. Bien que l'apprentissage automatique adversarial ait démontré que des changements subtils d'entrée peuvent déclencher des échecs majeurs, l'analyse de ces vulnérabilités reste une lacune de la recherche, particulièrement dans les LLM multimodaux où l'interprétabilité des perturbations de prompts est limitée.

Les approches existantes reposent souvent sur des méthodes d'interprétabilité globale ou des attaques adversariales qui ne sont pas interprétables (par exemple, les perturbations de pixels). Il existe un besoin pour un cadre capable de décoder systématiquement le comportement "boîte noire" des modèles en établissant un lien causal entre des éditions de concepts atomiques interprétables dans les prompts et les changements dans les résultats des modèles. L'objectif est d'apprendre une "constitution" en langage naturel — un résumé de la manière dont des mutations de prompts spécifiques affectent le comportement du modèle — afin d'expliquer et de piloter ces modèles.

2. Méthodologie

Les auteurs proposent un cadre d'interprétabilité de type boîte noire centré sur les Éditions de Concepts Atomiques (ACEs) et les Constitutions.

2.1. Définitions Fondamentales

• Éditions de Concepts Atomiques (ACEs) : Opérations ciblées consistant à ajouter, supprimer ou remplacer un concept interprétable unique dans un prompt d'entrée. Les concepts peuvent être explicites (ex: "homme", "frisbee") ou implicites (ex: "moment de la journée", "âge du fils").
• Autorater (Auto-évaluateur) : Un classificateur binaire (ou une fonction de score) qui associe une sortie de modèle à un score de désirabilité (0 ou 1) basé sur une tâche spécifique (ex: alignement texte-image, correction mathématique, respect du nombre de mots).
• Constitution ($\pi$) : Une description en langage naturel de stratégies pour générer des ACEs qui modifient une entrée pour susciter un comportement de modèle désirable (ou spécifique). Elle agit comme un livre de règles contenant de "Bonnes Stratégies" et de "Mauvaises Stratégies" pour les mutations.

2.2. Architecture du Cadre

Le cadre opère en trois étapes principales :

1. Génération d'ACE : Étant donné un prompt initial, une définition de tâche et une constitution (initialement vide ou aléatoire), un Extracteur de Concepts distille le prompt en un ensemble de concepts. Un Générateur d'ACE propose ensuite des éditions atomiques (ajouter, supprimer, remplacer) pour ces concepts.
2. Exploration et Étiquetage : Les ACEs proposés sont appliqués aux prompts, et les sorties résultantes sont évaluées par le modèle cible et l'autorater. Cela crée un ensemble de données de traces d'ACE ($D = \{(x_i, a_j, y_j)\}$) où $y_j$ est le score de vérité terrain de l'autorater.
3. Optimisation de la Constitution : Pour éviter le coût computationnel élevé des requêtes répétées aux grands modèles cibles, les auteurs emploient un Classificateur de Substitution (un LLM avec un template d'instruction) pour prédire les scores de l'autorater. En utilisant un algorithme évolutionnaire (inspiré de Alpha Evolve et TextGrad), le cadre met à jour itérativement la constitution. La constitution est optimisée pour maximiser la probabilité que les ACEs guidés par elle satisfont la définition de la tâche.

2.3. Objectif d'Optimisation

L'objectif est d'apprendre une constitution $\pi$ qui maximise le succès attendu des ACEs :
$$\max_{\pi} \mathbb{E}_{x} \left[ \mathbb{E}_{a \sim p(a|x,t,\pi)} [f(M(\phi(x, a)))] \right]$$
où $M$ est le modèle cible, $f$ est l'autorater, et $\phi$ applique l'ACE $a$ à l'entrée $x$. L'optimisation utilise le feedback des erreurs de classification du classificateur de substitution pour faire évoluer les stratégies au sein de la constitution.

2.4. Inférence et Contrôle

Une fois optimisée, la constitution guide le générateur d'ACE pour diriger les prompts d'entrée vers un objectif spécifique (ex: briser la correction mathématique ou diminuer l'alignement de l'image) avec un minimum d'étapes. Le cadre permet l'application séquentielle d'ACE, où une séquence d'éditions augmente la probabilité de succès.

3. Contributions Clés

1. Éditions de Concepts Atomiques (ACEs) : Une méthode générique de mutation de prompt utilisant des éditions locales explicables et interprétables (ajouter, supprimer, remplacer) sur des concepts spécifiques.
2. Optimisation de la Constitution : Une méthodologie évolutionnaire pour optimiser une constitution en langage naturel qui explique et pilote à la fois le comportement du modèle. La constitution résume les aspects clés des mutations qui provoquent les résultats souhaités et guide les futurs ACEs.
3. Validation Empirique : Évaluation complète à travers trois domaines (Adhérence au Nombre de Mots, Raisonnement Mathématique et Alignement Texte-Image) utilisant divers modèles (Gemini 2.5, GPT-5, Imagen 4, DALL-E 3, etc.).

4. Résultats Expérimentaux

Les auteurs ont évalué le cadre sur trois tâches en aval :

• Nombre de Mots : Forcer les modèles à respecter une limite stricte de mots (< 50 mots).
• Mathématiques : Modifier des problèmes mathématiques pour les rendre difficiles à résoudre correctement (induire des erreurs).
• Alignement Texte-Image (T2I) : Mettre à jour les prompts pour diminuer l'alignement avec l'image générée.

Résultats Quantitatifs

• Taux de Succès : L'utilisation d'ACEs guidés par une constitution (CACE) a obtenu une augmentation moyenne de 1,86 fois du taux de succès par rapport aux ACEs de base sans constitutions sur tous les modèles et tâches.
• Efficacité : Le CACE a atteint des taux de succès élevés (> 80 %) en moins d'étapes (typiquement 4 étapes) par rapport aux méthodes de base.
• Diversité : Les scores Self-BLEU ont indiqué que le cadre maintenait la diversité des prompts et ne convergeait pas vers des solutions triviales et répétitives.
• Précision du Substitut : Le classificateur de substitution a surpassé TextGrad (une méthode de gradient textuel de pointe) pour prédire si un ACE satisferait la tâche.

Aperçus Qualitatifs (Analyse du Comportement des Modèles)

Les constitutions apprises ont révélé des schémas de comportement distincts selon les modèles :

• Texte-Image :
  • GPT-Image : L'alignement se dégrade considérablement lorsque les éléments relationnels critiques et axés sur l'action sont supprimés (ex: supprimer l'objet d'un verbe), suggérant une dépendance à une logique compositionnelle stricte.
  • Imagen 4 : L'alignement diminue lorsque des éléments de décor non liés ou conflictuels sont ajoutés, indiquant une priorité donnée au contexte de la scène holistique et à la cohérence esthétique.
• Raisonnement Mathématique :
  • GPT-5 : Les performances sont significativement dégradées par l'introduction de variables distractrices ou de substitutions d'équations croisées.
  • Gemini 2.5 / o4-mini : Ces modèles sont largement peu affectés par les variables distractrices, montrant une robustesse là où GPT-5 échoue.
  • Général : L'introduction d'exposants ou de racines augmente systématiquement la difficulté à travers les modèles, exposant les limites du raisonnement algébrique complexe.

5. Signification et Revendications

L'article affirme fournir un nouveau cadre pour comprendre et piloter les modèles génératifs boîte noire en liant les modifications de concepts au niveau du prompt aux changements de comportement. La principale importance réside dans la capacité de générer des constitutions interprétables par l'humain qui agissent comme des livres de règles pour le pilotage adversarial et les tests actifs.

Les auteurs soulignent que leur approche :

• Décode le comportement du modèle sans nécessiter d'accès aux poids internes (boîte noire).
• Fournit des informations exploitables et généralisables (ex: "Supprimer un Élément Relationnel Critique") plutôt que des points de données spécifiques.
• Démontre que différents modèles ont des "angles morts" ou des modes de défaillance distincts qui peuvent être systématiquement identifiés et exploités.

Ce travail se positionne comme une fondation pour piloter le comportement des modèles vers n'importe quel objectif défini par un autorater, offrant une alternative structurée au prompt engineering non structuré ou aux attaques adversariales non interprétables. Les auteurs notent les limites concernant la dépendance à des autoraters robustes et le besoin potentiel de travaux futurs pour étendre ces concepts aux modalités image/vidéo et aux systèmes agentiques.