📊 statistics

TCARD: Nearly Balanced Two-Level Designs with Treatment Cardinality Constraints with an Application to LLM Prompt Engineering

Cet article présente TCARD, un cadre pour la construction de plans expérimentaux à deux niveaux presque équilibrés sous des contraintes de cardinalité des traitements, en proposant un critère de déviation de concurrence équilibrée sans modèle et un algorithme efficace d'échange de coordonnées pour optimiser les plans destinés à des applications telles que l'ingénierie de prompts pour les LLM.

Auteurs originaux : Kexin Xie, Ryan Lekivetz, Xinwei Deng

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kexin Xie, Ryan Lekivetz, Xinwei Deng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de créer le plat parfait. Vous disposez d'un garde-manger rempli de 15 ingrédients différents (facteurs), mais votre carte de recette n'a de la place que pour exactement 3 ingrédients par plat (la contrainte de cardinalité du traitement). Vous souhaitez tester autant de combinaisons que possible pour déterminer quels ingrédients rendent la nourriture délicieuse et lesquels la gâchent.

Le problème ? Si vous choisissez simplement des combinaisons au hasard, vous pourriez finir par tester « Sel, Sel, Sel » trois fois et ne jamais tester « Sel, Poivre, Basilic ». Ou bien, vous pourriez tester « Sel et Poivre » ensemble si souvent que vous ne pourrez pas déterminer si le bon goût provient du sel, du poivre ou de la magie de leur association.

Cet article, intitulé « TCARD », traite de la création d'une recette mathématique intelligente pour ces expériences. Il garantit que chaque ingrédient a son tour équitable sous les projecteurs et que chaque paire d'ingrédients est testée ensemble exactement le bon nombre de fois.

Voici une décomposition de leur approche utilisant des analogies simples :

1. Le problème : La règle des « trois ingrédients »

Dans de nombreux tests réels — comme le réglage d'un programme informatique, le test de combinaisons de médicaments, ou même la rédaction de prompts pour une IA (comme celle utilisée dans l'article) — vous ne pouvez pas utiliser tout à la fois.

La contrainte : Vous devez choisir exactement $k$ éléments parmi $p$ options disponibles pour chaque exécution de test.
Le risque : Si vous n'êtes pas prudent, vos données deviennent désordonnées. Vous pourriez sur-tester certains ingrédients et sous-tester d'autres, rendant impossible la connaissance de ce qui fonctionne réellement.

2. La solution : Des plans « presque équilibrés »

Les auteurs ont réalisé que la solution mathématique parfaite (où chaque ingrédient est utilisé exactement le même nombre de fois et où chaque paire se rencontre exactement le même nombre de fois) n'existe souvent pas pour des nombres réels. C'est comme essayer de diviser 7 biscuits entre 3 amis de manière parfaitement égale : vous ne pouvez pas le faire sans casser un biscuit.

Ainsi, ils ont inventé des plans « presque équilibrés ».

L'analogie : Imaginez que vous installez des invités autour d'une table ronde. Vous voulez que chacun s'assoie à côté de chaque autre invité exactement une fois. Si vous ne pouvez pas le faire parfaitement, visez un arrangement de siège « presque équilibré » où chacun s'assoit à côté de chacun presque le même nombre de fois.
L'objectif : Minimiser le « regroupement » (certaines paires se rencontrant trop souvent) et la « solitude » (certains ingrédients ne se rencontrant jamais).

3. Le nouvel outil : Le score de « déviation de concurrence équilibrée » (BCD)

Pour construire ces plans, les auteurs ont créé un système de notation appelé $\Phi_{BCD}$ . Pensez-y comme à un « compteur d'équité » pour votre expérience.

Deux cadrans : Le compteur possède deux cadrans.
1. Équilibre de réplication : Chaque ingrédient est-il utilisé à peu près le même nombre de fois ?
2. Équilibre de concurrence : Chaque paire d'ingrédients se rencontre-t-elle à peu près le même nombre de fois ?
La magie : Les auteurs ont prouvé que si vous minimisez ce score, vous obtenez automatiquement un plan statistiquement puissant. C'est comme régler une radio sur la station la plus claire ; une fois que vous avez trouvé le bon endroit, le bruit statique (bruit) disparaît et le signal (la vérité) passe clairement.

4. L'algorithme : La stratégie de « permutation »

Comment trouver ce plan parfait ? Vous ne pouvez pas simplement deviner. Les auteurs ont construit un algorithme informatique (une méthode d'échange de coordonnées) qui fonctionne comme un jeu de chaises musicales.

Le processus : Il commence par une liste aléatoire de combinaisons à trois ingrédients. Ensuite, il examine une ligne (un test) et demande : « Si je remplace l'ingrédient A par l'ingrédient B ici, mon compteur d'équité s'améliore-t-il ? »
Vitesse : Il fait cela incroyablement vite, échangeant les ingrédients jusqu'à ce qu'il trouve l'arrangement le plus équilibré possible.

5. Le « secret » : Le réglage des poids

Le compteur d'équité possède deux cadrans. Parfois, vous vous souciez davantage de vous assurer que chaque ingrédient est utilisé de manière égale (réplication). Parfois, vous vous souciez davantage de la fréquence à laquelle les paires se rencontrent (concurrence).

L'innovation : Au lieu de deviner quel cadran tourner, les auteurs suggèrent un réglage basé sur la simulation. Avant de lancer la vraie expérience, vous effectuez une « séance d'entraînement » sur un ordinateur. Vous faites semblant d'être l'IA ou le scientifique, voyez quel type de résultats vous voulez trouver, puis ajustez les cadrans pour correspondre à cet objectif.
Pourquoi c'est important : Cela garantit que l'expérience est conçue spécifiquement pour répondre à la question qui vous intéresse réellement, plutôt que d'être simplement « mathématiquement jolie ».

6. Le test réel : Le chef IA

Pour prouver que cela fonctionne, les auteurs l'ont testé sur les modèles de langage de grande taille (LLM) — les cerveaux derrière les chatbots comme celui avec qui vous parlez.

Le montage : Ils voulaient déterminer quels « composants de prompt » (comme « Pensez étape par étape » ou « Agissez en tant qu'expert ») aident réellement l'IA à résoudre des problèmes de mathématiques. Ils avaient 15 composants possibles mais ne pouvaient en utiliser que 3 à la fois.
Le résultat :
- La méthode TCARD (la recette intelligente et équilibrée) a trouvé les meilleurs ingrédients et identifié ceux qui nuisaient aux performances de l'IA.
- Les recettes aléatoires (simplement deviner des combinaisons) ou les recettes avides (essayant d'être simples) ont échoué. Soit elles ne pouvaient pas distinguer la différence entre bons et mauvais ingrédients, soit elles donnaient des résultats trompeurs.
- Plus précisément, la méthode TCARD a correctement identifié que « Agir en tant que mathématicien » aidait, tandis que « Utiliser des formules algébriques » confondait en réalité l'IA sur ces problèmes mathématiques spécifiques.

Résumé

Cet article nous offre une nouvelle et plus intelligente façon de mener des expériences lorsque nous sommes limités dans le nombre de choses que nous pouvons tester simultanément.

Ancienne méthode : Essayer et vérifier, ou utiliser des règles rigides qui ne correspondent pas à la vie réelle.
Nouvelle méthode (TCARD) : Utiliser un « compteur d'équité » pour équilibrer l'expérience, échanger les ingrédients jusqu'à ce que ce soit parfait, et régler les paramètres en fonction de ce que vous espérez apprendre.

C'est la différence entre lancer des fléchettes les yeux bandés et utiliser un système guidé par laser pour toucher le centre de la cible, garantissant que chaque donnée que vous collectez vous dit réellement quelque chose de vrai.

Résumé Technique : TCARD : Conceptions à Deux Niveaux Presque Équilibrées avec Contraintes de Cardinalité des Traitements

Énoncé du Problème
La conception expérimentale moderne rencontre fréquemment la contrainte de cardinalité des traitements (TCARD), où chaque essai expérimental est restreint à l'activation d'exactement $k$ facteurs parmi $p$ facteurs disponibles. Cette contrainte se manifeste dans divers domaines, notamment la planification des capteurs, les expériences avec drapeaux fonctionnels (feature-flag), le criblage à haut débit de médicaments et, de plus en plus, l'ingénierie des invites pour les grands modèles de langage (LLM). Sous TCARD, la matrice de conception $X \in \{0, 1\}^{n \times p}$ possède des sommes de lignes fixes égales à $k$ .

Cette contrainte engendre des défis statistiques et algébriques significatifs :

Singularité Structurelle : Des sommes de lignes fixes induisent des dépendances linéaires entre les colonnes, rendant la matrice d'information singulière ou presque singulière après suppression de l'intercept.
Impossibilité des Conceptions Classiques : Les conceptions factorielles complètes ou fractionnaires sont impossibles. Bien que les Conceptions en Blocs Incomplets Équilibrés (BIBD) offrent une référence naturelle pour équilibrer les répétitions de facteurs et les co-occurrences par paires, les BIBD exacts n'existent pas pour de nombreuses combinaisons pratiques $(n, p, k)$ .
Absence de Critères d'Optimalité : Les critères existants (par exemple, maximin basé sur la distance, optimalité $A/D/E$ standard) n'ont pas été conçus pour les contraintes de somme de lignes. Ils échouent souvent à contrôler les grandeurs structurelles spécifiques régissant la qualité de la projection sous TCARD : l'équilibre des répétitions de facteurs et l'équilibre des concurrences par paires. De plus, les critères composites existants manquent de directives fondées sur des principes concernant la pondération de ces objectifs concurrents par rapport aux tâches en aval.

Méthodologie
L'article propose un cadre unifié pour la construction et l'analyse de TCARD à deux niveaux, organisé autour d'une perspective « basée uniquement sur les comptes ».

Fondements Algébriques et Définition de « Presque Équilibré » :
- Les auteurs établissent une correspondance entre les TCARD et les BIBD, prouvant qu'une TCARD est pleinement équilibrée si et seulement si sa structure de support forme un BIBD.
- Étant donné que les BIBD exacts sont souvent indisponibles, ils formalisent le concept de TCARD presque équilibrées. Une conception est presque équilibrée si :
  - (NB1) Les répétitions de facteurs $r_j$ diffèrent d'au plus un (c'est-à-dire $r_j \in \{\lfloor \bar{r} \rfloor, \lceil \bar{r} \rceil\}$ ).
  - (NB2) Les concurrences par paires $\lambda_{j\ell}$ sont aussi uniformes que l'arithmétique le permet compte tenu des niveaux de répétition.
- Des résultats théoriques (Théorèmes 1 et 2) montrent que les TCARD presque équilibrées minimisent les deux premiers composants du Motif de Longueur de Mot Généralisé ( $B_1$ et $B_2$ ), qui mesurent les déséquilibres de projection.
Le Critère de Déviation de Concurrence Équilibrée ( $\Phi_{BCD}$ ) :
- Pour construire des conceptions sans résoudre des problèmes de faisabilité entière intraitables, les auteurs introduisent une fonction objectif sans modèle, à valeurs réelles :
  $\Phi_{BCD}(X) = w_1 \frac{V_1(X)}{p} + w_2 \frac{V_2(X)}{\binom{p}{2}}$
  où $V_1$ est l'écart quadratique des répétitions par rapport à la moyenne, et $V_2$ est l'écart quadratique des concurrences par paires par rapport à la moyenne.
- Justification Statistique : L'article prouve que la minimisation de $\Phi_{BCD}$ $Φ_{B C D}$ s'aligne sur plusieurs principes classiques d'optimalité :
  - Il satisfait le principe (M, S)-optimalité (maximisation de l'information totale, puis minimisation de l'étalement des valeurs propres) sous des modèles d'effets principaux.
  - Il est algébriquement équivalent au critère $UE(s^2)$ centré (Jones et Majumdar, 2014) sous certaines conditions de poids.
  - Il fournit une borne de perturbation pour l'optimalité D bayésienne, reliant la pénalité basée sur les comptes à l'écart d'efficacité par rapport à une conception équilibrée idéale.
Construction Algorithmique :
- Un algorithme d'Échange de Coordonnées (CE) est développé qui respecte la contrainte de somme de lignes en effectuant des échanges au sein des lignes (échange d'un facteur actif contre un facteur inactif).
- L'algorithme utilise des mises à jour incrémentales efficaces en $O(k)$ pour évaluer les changements dans $\Phi_{BCD}$ , le rendant évolutif.
- Réglage des Poids par Simulation : Reconnaissant que les poids $(w_1, w_2)$ contrôlent le compromis entre l'équilibre des répétitions et celui des concurrences, les auteurs proposent une procédure de réglage hors ligne. En utilisant un plan de simulation imitant la tâche en aval visée (par exemple, la sélection de sous-espaces clairsemés), le poids $w_1$ est calibré pour maximiser une métrique de performance (par exemple, le score F1) avant toute collecte de données réelles.

Résultats Clés

Théorique : L'article établit que les TCARD presque équilibrées sont optimales pour minimiser les déséquilibres de projection d'ordre faible ( $B_1, B_2$ ) et fournit des conditions nécessaires à leur existence via des séquences de degrés en théorie des graphes.
Simulation Numérique : Sur une gamme de tailles de problèmes ( $p \in \{20, \dots, 80\}$ $p \in {20, \dots, 80}$ ) et de forces de contrainte ( $k/p \in \{0.1, 0.25, 0.5\}$ $k / p \in {0.1, 0.25, 0.5}$ ), le critère $\Phi_{BCD}$ $Φ_{B C D}$ proposé (avec des poids par défaut $w_1=w_2=1$ $w_{1} = w_{2} = 1$ ) surpasse ou égale systématiquement les alternatives existantes (y compris $UE(s^2)$ $U E (s^{2})$ , les critères basés sur la distance et les heuristiques gloutonnes) en termes de :
- Équilibre : Atteinte d'un équilibre de répétition presque parfait et d'une régularité de concurrence supérieure.
- Qualité de Projection : Génération de déterminants logarithmiques moyens plus élevés des matrices d'information projetées.
- Performance en Aval : Dans les simulations de criblage clairsemé, les conceptions optimisées avec $\Phi_{BCD}$ (surtout lorsque les poids sont calibrés sur le niveau de clairsemé cible $q$ ) atteignent des scores F1, une précision et un rappel supérieurs par rapport aux critères non calibrés ou à composante unique.
Étude de Cas (Ingénierie d'Invites LLM) :
- Application au criblage de 15 composants d'invite pour un modèle Llama 3.1 8B sur le benchmark de raisonnement mathématique GSM8K avec un budget de 21 essais ( $k=3$ ).
- Constats : Les conceptions $\Phi_{BCD}$ calibrées (ajustées pour différents niveaux de clairsemé supposés $q \in \{3, 4, 5\}$ ) ont identifié des effets principaux significativement plus robustes (par exemple, « Algèbre » et « DrawTable » comme nuisibles ; « StepByStep » et « SubProblems » comme utiles) par rapport aux concurrents.
- Validation : Sur un ensemble de test retenu, seules les conceptions $\Phi_{BCD}$ calibrées ont prédit avec succès à la fois les composants nuisibles (réduisant la précision lorsqu'ils sont ajoutés) et les composants utiles (augmentant la précision). Les méthodes concurrentes, y compris le défaut non calibré et les critères basés sur la distance, ont échoué à identifier les composants utiles, aboutissant souvent à des gains négatifs ou nuls.

Signification et Revendications
L'article revendique fournir le premier cadre complet pour les conceptions presque équilibrées sous des contraintes strictes de cardinalité des traitements. Sa signification réside dans trois domaines :

Relier Théorie et Pratique : Il étend la théorie classique des conceptions en blocs presque équilibrées (Cheng et Wu, 1981) au contexte TCARD, fournissant des conditions d'existence et des garanties d'optimalité pour une classe de conceptions précédemment dépourvue de théorie constructive.
Optimalité Sans Modèle : Il introduit $\Phi_{BCD}$ , un critère efficace sur le plan computationnel, sans modèle, mais rigoureusement connecté aux principes classiques d'optimalité statistique (M-S, $UE(s^2)$ , D bayésien).
Calibration Consciente de la Tâche : Il comble le vide dans les critères de conception composite en proposant une procédure de réglage basée sur la simulation. Cela permet d'aligner le critère de conception sur des objectifs inférentiels spécifiques en aval (par exemple, sélection de variables vs prédiction) sans nécessiter de connaissances préalables de la surface de réponse.

Les auteurs notent modestement que, bien que le cadre gère efficacement le régime de cardinalité exacte, il ne résout pas tous les problèmes de faux positifs ou d'interactions inhérents au criblage. Cependant, il offre une fondation robuste et consciente de la tâche pour construire des conceptions où le nombre de facteurs actifs est strictement borné, une contrainte de plus en plus courante dans les applications d'IA et d'ingénierie.