📊 statistics

TCARD: Nearly Balanced Two-Level Designs with Treatment Cardinality Constraints with an Application to LLM Prompt Engineering

Dit artikel introduceert TCARD, een raamwerk voor het construeren van bijna gebalanceerde tweeniveau-experimentele ontwerpen onder beperkingen op de kardinaliteit van behandelingen, door een modelvrije criterion voor gebalanceerde concurrentie-afwijking en een efficiënt coördinaten-uitwisselingsalgoritme voor te stellen om ontwerpen te optimaliseren voor toepassingen zoals prompt-engineering voor LLM's.

Oorspronkelijke auteurs: Kexin Xie, Ryan Lekivetz, Xinwei Deng

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kexin Xie, Ryan Lekivetz, Xinwei Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte nieuwe gerecht te creëren. Je hebt een voorraadkast vol met 15 verschillende ingrediënten (factoren), maar je receptkaart biedt slechts ruimte voor precies 3 ingrediënten per gerecht (de Treatment Cardinality Constraint). Je wilt zo veel mogelijk combinaties testen om uit te vinden welke ingrediënten de voedselsmaak fantastisch maken en welke het bederven.

Het probleem? Als je gewoon willekeurige combinaties kiest, eindig je misschien met drie keer "Zout, Zout, Zout" te testen en nooit "Zout, Peper, Basilicum". Of je test "Zout en Peper" samen zo vaak dat je niet kunt zeggen of de goede smaak komt van het zout, de peper, of de magie van het samenzijn.

Dit artikel, getiteld "TCARD", gaat over het creëren van een slim, wiskundig recept voor deze experimenten. Het zorgt ervoor dat elk ingrediënt een eerlijke beurt krijgt in de schijnwerpers en dat elk paar ingrediënten precies het juiste aantal keren samen wordt getest.

Hier is een uiteenzetting van hun aanpak met eenvoudige analogieën:

1. Het Probleem: De "Drie-Ingrediënten"-Regel

In veel realiteitstests—zoals het afstemmen van een computerprogramma, het testen van medicijncombinaties, of zelfs het schrijven van prompts voor een AI (zoals die in het artikel wordt gebruikt)—kun je niet alles tegelijk gebruiken.

De Beperking: Je moet voor elke testrun precies $k$ items kiezen uit $p$ beschikbare opties.
Het Risico: Als je niet voorzichtig bent, wordt je data rommelig. Je test sommige ingrediënten te vaak en andere te weinig, waardoor het onmogelijk wordt om te weten wat er echt werkt.

2. De Oplossing: "Bijna Gebalanceerde" Ontwerpen

De auteurs beseften dat de perfecte wiskundige oplossing (waarbij elk ingrediënt exact even vaak wordt gebruikt en elk paar exact even vaak samenkomt) vaak niet bestaat voor realistische aantallen. Het is als proberen 7 koekjes perfect gelijkmatig te verdelen onder 3 vrienden—je kunt het niet doen zonder een koekje te breken.

Dus bedachten ze "Bijna Gebalanceerde" ontwerpen.

De Analogie: Stel je voor dat je gasten aan een ronde tafel plaatst. Je wilt dat iedereen precies één keer naast elke andere gast zit. Als je dat niet perfect kunt doen, streef je naar een "bijna gebalanceerde" zitting waarbij iedereen bijna even vaak naast iedereen anders zit.
Het Doel: Minimaliseer het "klonteren" (sommige paren komen te vaak samen) en de "eenzaamheid" (sommige ingrediënten komen nooit samen).

3. Het Nieuwe Hulpmiddel: De "Balanced Concurrence Deviation" (BCD)-Score

Om deze ontwerpen te bouwen, creëerden de auteurs een scoresysteem genaamd $\Phi_{BCD}$ . Denk hierbij aan een "Eerlijkheidsmeter" voor je experiment.

Twee Knoppen: De meter heeft twee knoppen.
1. Replicatie-Balans: Wordt elk ingrediënt ongeveer even vaak gebruikt?
2. Concurrentie-Balans: Komt elk paar ingrediënten ongeveer even vaak samen?
De Magie: De auteurs bewezen dat als je deze score minimaliseert, je automatisch een ontwerp krijgt dat statistisch krachtig is. Het is als een radio afstemmen op het helderste station; zodra je de juiste plek hebt gevonden, verdwijnt het statische (ruis) en komt het signaal (de waarheid) duidelijk naar voren.

4. Het Algorithm: De "Wissel"-Strategie

Hoe vind je dit perfecte ontwerp? Je kunt niet zomaar gissen. De auteurs bouwden een computeralgoritme (een Coordinate-Exchange-methode) dat werkt als een spelletje stoelendans.

Het Proces: Het begint met een willekeurige lijst van drie-ingredientencombinaties. Vervolgens kijkt het naar één rij (één test) en vraagt: "Als ik hier Ingrediënt A wissel voor Ingrediënt B, verbetert mijn Eerlijkheidsmeter dan?"
Snelheid: Het doet dit ongelooflijk snel, wisselt ingrediënten rond totdat het de meest gebalanceerde rangschikking mogelijk heeft gevonden.

5. De "Geheime Saus": Afstemmen van de Weegs

De Eerlijkheidsmeter heeft twee knoppen. Soms vind je het belangrijker om ervoor te zorgen dat elk ingrediënt even vaak wordt gebruikt (Replicatie). Soms vind je het belangrijker hoe vaak paren samenkomen (Concurrentie).

De Innovatie: In plaats van te raden welke knop je moet draaien, suggereren de auteurs een op simulatie gebaseerde afstemming. Voordat je het echte experiment uitvoert, voer je een "proefrun" uit op een computer. Je doet alsof je de AI of de wetenschapper bent, bekijkt wat voor soort resultaten je wilt vinden, en past vervolgens de knoppen aan om dat doel te bereiken.
Waarom het belangrijk is: Dit zorgt ervoor dat het experiment specifiek is opgebouwd om de vraag te beantwoorden die je echt belangrijk vindt, in plaats van alleen maar "wiskundig mooi" te zijn.

6. De Realiteitstest: De AI-Chef

Om te bewijzen dat het werkt, testten de auteurs dit op Large Language Models (LLM's)—de hersenen achter chatbots zoals degene waarmee je praat.

De Opstelling: Ze wilden uitzoeken welke "prompt-componenten" (zoals "Denk stap voor stap" of "Acteer als een expert") de AI echt helpen bij het oplossen van wiskundeproblemen. Ze hadden 15 mogelijke componenten, maar konden er slechts 3 tegelijk gebruiken.
Het Resultaat:
- De TCARD-methode (het slimme, gebalanceerde recept) vond de beste ingrediënten en identificeerde welke de prestaties van de AI schaadden.
- Willekeurige recepten (gewoon combinaties gissen) of gierige recepten (proberen simpel te zijn) faalden. Ze konden ofwel het verschil tussen goede en slechte ingrediënten niet zien, of ze gaven misleidende resultaten.
- Specifiek identificeerde de TCARD-methode correct dat "Acteren als wiskundige" hielp, terwijl "Het gebruik van algebraïsche formules" de AI juist verwarde bij deze specifieke wiskundeproblemen.

Samenvatting

Dit artikel geeft ons een nieuwe, slimmere manier om experimenten uit te voeren wanneer we beperkt zijn in hoeveel dingen we tegelijk kunnen testen.

Oude manier: Gissen en controleren, of starre regels gebruiken die niet in het dagelijks leven passen.
Nieuwe manier (TCARD): Gebruik een "Eerlijkheidsmeter" om het experiment in balans te brengen, wissel ingrediënten rond totdat het perfect is, en pas de instellingen aan op basis van wat je hoopt te leren.

Het is het verschil tussen blinddoekdansen met pijlen en een laser-gestuurd systeem gebruiken om de bullseye te raken, zodat elk stukje data dat je verzamelt je echt iets waarheidsgetrues vertelt.

Technische Samenvatting: TCARD: Bijna Gebalanceerde Twee-Niveau Ontwerpen met Beperkingen op de Cardinaliteit van Behandelingen

Probleemstelling
Moderne experimentele opzet komt vaak de beperking op de cardinaliteit van behandelingen (TCARD) tegen, waarbij elke experimentele run beperkt is tot het activeren van precies $k$ factoren uit de beschikbare $p$ factoren. Deze beperking doet zich voor in diverse gebieden, waaronder sensortiming, feature-flag-experimenten, high-throughput drug screening en, in toenemende mate, het ontwerpen van prompts voor Large Language Models (LLM's). Onder TCARD heeft de ontwerpmatrix $X \in \{0, 1\}^{n \times p}$ vaste rijtellingen die gelijk zijn aan $k$ .

Deze beperking creëert aanzienlijke statistische en algebraïsche uitdagingen:

Structurele Singulariteit: Vaste rijtellingen veroorzaken lineaire afhankelijkheden tussen kolommen, waardoor de informatiematrix singulier of bijna singulier wordt na verwijdering van het intercept.
Onuitvoerbaarheid van Klassieke Ontwerpen: Volledige of fractionele factoriële ontwerpen zijn onmogelijk. Hoewel Gebalanceerde Onvolledige Blok-ontwerpen (BIBD's) een natuurlijke referentie bieden voor het balanceren van factorreplicaties en paarsgewijze co-voorkomens, bestaan exacte BIBD's niet voor veel praktische $(n, p, k)$ -combinaties.
Gebrek aan Optimaliteitscriteria: Bestaande criteria (bijvoorbeeld op afstand gebaseerde maximin, standaard $A/D/E$ -optimaliteit) zijn niet ontworpen voor rijtelling-beperkingen. Ze falen vaak om de specifieke structurele grootheden te beheersen die de projectiekwaliteit onder TCARD regelen: balans in factorreplicatie en balans in paarsgewijze concurren. Bovendien ontbreekt het bij bestaande samengestelde criteria aan principiële richtlijnen over hoe deze concurrerende doelen gewogen moeten worden ten opzichte van downstream taken.

Methodologie
Het artikel stelt een unificerend kader voor voor het construeren en analyseren van twee-niveau TCARD's, georganiseerd rond een "alleen tellingen"-perspectief.

Algebraïsche Fundamenten en Definitie van "Bijna Gebalanceerd":
- De auteurs leggen een correspondentie tussen TCARD's en BIBD's, en bewijzen dat een TCARD volledig gebalanceerd is dan en slechts dan als de ondersteuningsstructuur een BIBD vormt.
- Aangezien exacte BIBD's vaak niet beschikbaar zijn, formaliseren zij het concept van bijna gebalanceerde TCARD's. Een ontwerp is bijna gebalanceerd als:
  - (NB1) Factorreplicaties $r_j$ maximaal één verschillen (d.w.z. $r_j \in \{\lfloor \bar{r} \rfloor, \lceil \bar{r} \rceil\}$ ).
  - (NB2) Paarsgewijze concurren $\lambda_{j\ell}$ zo uniform zijn als rekenkundig mogelijk is, gegeven de replicatieniveaus.
- Theoretische resultaten (Stellingen 1 en 2) tonen aan dat bijna gebalanceerde TCARD's de eerste twee componenten van het Generalized Word-Length Pattern ( $B_1$ en $B_2$ ) minimaliseren, die projectie-ongelijkheden meten.
Het Gebalanceerde Concurren-Afwijkingscriterium ( $\Phi_{BCD}$ ):
- Om ontwerpen te construeren zonder onoplosbare geheeltallige haalbaarheidsproblemen op te lossen, introduceren de auteurs een modelvrije, reëelwaardige doelfunctie:
  $\Phi_{BCD}(X) = w_1 \frac{V_1(X)}{p} + w_2 \frac{V_2(X)}{\binom{p}{2}}$
  waarbij $V_1$ de kwadratische afwijking van replicaties van het gemiddelde is, en $V_2$ de kwadratische afwijking van paarsgewijze concurren van het gemiddelde.
- Statistische Rechtvaardiging: Het artikel bewijst dat het minimaliseren van $\Phi_{BCD}$ $Φ_{B C D}$ overeenkomt met verschillende klassieke optimaliteitsprincipes:
  - Het voldoet aan het (M, S)-optimaliteitsprincipe (maximaliseren van totale informatie, vervolgens minimaliseren van de spreiding van eigenwaarden) onder modellen voor hoofdeffecten.
  - Het is algebraïsch equivalent aan het gecentreerde $UE(s^2)$ -criterium (Jones en Majumdar, 2014) onder specifieke gewichtsvoorwaarden.
  - Het biedt een perturbatiegrens voor Bayesiaanse D-optimaliteit, waarbij de op tellingen gebaseerde straf wordt gekoppeld aan het efficiëntiegat ten opzichte van een ideaal gebalanceerd ontwerp.
Algoritmische Constructie:
- Een Coördinaat-uitwisselings (CE) algoritme is ontwikkeld dat de rijtelling-beperking respecteert door uitwisselingen binnen een rij uit te voeren (een actieve factor inwisselen voor een inactieve).
- Het algoritme maakt gebruik van efficiënte $O(k)$ incrementele updates om veranderingen in $\Phi_{BCD}$ te evalueren, waardoor het schaalbaar is.
- Op Simulatie Gebaseerde Gewichtsafstelling: Erkennend dat de gewichten $(w_1, w_2)$ de afweging tussen balans in replicatie en balans in concurren controleren, stellen de auteurs een offline afstellingsprocedure voor. Met behulp van een simulatieplan dat de beoogde downstream taak nabootst (bijvoorbeeld selectie van een dunne deelruimte), wordt het gewicht $w_1$ gekalibreerd om een prestatiemetriek (bijvoorbeeld F1-score) te maximaliseren voordat er echte data wordt verzameld.

Belangrijkste Resultaten

Theoretisch: Het artikel stelt vast dat bijna gebalanceerde TCARD's optimaal zijn voor het minimaliseren van projectie-ongelijkheden van lage orde ( $B_1, B_2$ ) en levert noodzakelijke voorwaarden voor hun bestaan via graaftheoretische graadsequenties.
Numerieke Simulatie: Over een reeks probleemgroottes ( $p \in \{20, \dots, 80\}$ $p \in {20, \dots, 80}$ ) en beperkingssterktes ( $k/p \in \{0.1, 0.25, 0.5\}$ $k / p \in {0.1, 0.25, 0.5}$ ) presteert het voorgestelde $\Phi_{BCD}$ $Φ_{B C D}$ -criterium (met standaardgewichten $w_1=w_2=1$ $w_{1} = w_{2} = 1$ ) consistent beter dan of gelijk aan bestaande alternatieven (inclusief $UE(s^2)$ $U E (s^{2})$ , op afstand gebaseerde criteria en greedy-heuristieken) op het gebied van:
- Balans: Het bereiken van bijna perfecte balans in replicatie en superieure regelmaat in concurren.
- Projectiekwaliteit: Het opleveren van hogere gemiddelde log-determinanten van geprojecteerde informatiematrices.
- Downstream Prestaties: In simulaties voor dunne screening bereiken ontwerpen die met $\Phi_{BCD}$ zijn geoptimaliseerd (vooral wanneer de gewichten zijn afgestemd op het beoogde niveau van dichtheid $q$ ) hogere F1-scores, precisie en recall in vergelijking met niet-afgestemde criteria of criteria met slechts één component.
Casestudie (LLM Prompt Engineering):
- Toegepast op het screenen van 15 prompt-componenten voor een Llama 3.1 8B-model op de GSM8K-wiskundige redeneerbepaling met een budget van 21 runs ( $k=3$ ).
- Vondsten: De afgestemde $\Phi_{BCD}$ -ontwerpen (gekalibreerd voor verschillende aangenomen dichtheidsniveaus $q \in \{3, 4, 5\}$ ) identificeerden aanzienlijk meer robuuste hoofdeffecten (bijvoorbeeld "Algebra" en "DrawTable" als schadelijk; "StepByStep" en "SubProblems" als nuttig) in vergelijking met concurrenten.
- Validatie: Op een vastgehouden testset slaagden alleen de afgestemde $\Phi_{BCD}$ -ontwerpen erin om zowel schadelijke componenten (die de nauwkeurigheid verlagen wanneer ze worden toegevoegd) als nuttige componenten (die de nauwkeurigheid verhogen) te voorspellen. Concurrerende methoden, inclusief de niet-afgestemde standaard en op afstand gebaseerde criteria, faalden in het identificeren van nuttige componenten, wat vaak resulteerde in negatieve of nihil winsten.

Betekenis en Claims
Het artikel claimt het eerste uitgebreide kader te bieden voor bijna gebalanceerde ontwerpen onder strikte beperkingen op de cardinaliteit van behandelingen. De betekenis ligt op drie gebieden:

Brug tussen Theorie en Praktijk: Het breidt de klassieke theorie van bijna gebalanceerde blok-ontwerpen (Cheng en Wu, 1981) uit naar de TCARD-situatie, en biedt existentievoorwaarden en optimaliteitsgaranties voor een klasse ontwerpen die eerder ontbeerde een constructieve theorie.
Modelvrije Optimaliteit: Het introduceert $\Phi_{BCD}$ , een criterium dat computationeel efficiënt en modelvrij is, maar toch strikt verbonden is met klassieke statistische optimaliteitsprincipes (M-S, $UE(s^2)$ , Bayesiaanse D).
Op Taak Gerichte Kalibratie: Het adresseert de kloof in samengestelde ontwerpcriteria door een op simulatie gebaseerde afstellingsprocedure voor te stellen. Dit stelt de ontwerpcriteria in staat om te worden afgestemd op specifieke downstream inferentiële doelen (bijvoorbeeld variabele selectie versus voorspelling) zonder dat voorafgaande kennis van het responsoppervlak vereist is.

De auteurs merken bescheiden op dat hoewel het kader het regime met exacte cardinaliteit effectief behandelt, het niet alle problemen met vals-positieven of interacties inherent aan screening oplost. Het biedt echter een robuuste, op taak gerichte basis voor het construeren van ontwerpen waar het aantal actieve factoren strikt begrensd is, een beperking die in AI- en engineeringtoepassingen steeds vaker voorkomt.