A systematic assessment of Large Language Models for constructing two-level fractional factorial designs

Dit artikel presenteert een systematische evaluatie van GPT- en Gemini-modellen die aantoont dat deze grote taalmodellen effectief optimale tweeledige fractionele factoriële ontwerpen kunnen genereren voor experimenten met 8, 16 of 32 runs en maximaal acht factoren.

De kern

Hier is een uitleg van dit wetenschappelijke artikel, vertaald naar gewoon Nederlands met wat creatieve vergelijkingen om het begrijpelijk te maken.

🧪 De Grote Test: Kunnen AI-chatbots een goed experiment ontwerpen?

Stel je voor dat je een kok bent die een nieuw recept wilt ontwikkelen. Je hebt twintig verschillende ingrediënten (zoals suiker, zout, paprika, etc.), maar je hebt niet de tijd of het geld om alle mogelijke combinaties uit te proberen. Dat zou duizenden proefjes zijn.

In de wereld van de statistiek noemen we dit Design of Experiments (DoE). Om dit op te lossen, gebruiken wetenschappers slimme "kaarten" of ontwerpen. Deze kaarten vertellen je precies welke ingrediëntencombinaties je moet testen om het beste resultaat te krijgen met het minste aantal proefjes. Dit noemen ze fractionele factoriële ontwerpen.

Vroeger haalden deze kaarten uit een zware, saaie handboek of een dure software. Maar nu hebben we AI-chatbots (zoals ChatGPT en Gemini). De vraag van de auteurs van dit artikel is simpel: "Kunnen deze slimme chatbots zelf die perfecte experiment-kaarten bedenken, of blijven ze steken in de fouten?"

---

🤖 De Proef: De "Chef" tegen de "AI"

De onderzoekers hebben twee beroemde AI-modellen getest:

1. GPT-5.1 (de hersenkracht achter ChatGPT).
2. Gemini 2.5 Flash (de snelheid en slimheid van Google).

Ze gaven de AI's een specifieke opdracht: "Bedenk een experiment met X ingrediënten en Y proefjes. Zorg dat het zo goed mogelijk is."

Om de AI's te helpen, gaven ze hen een speciale instructie (een "prompt"). Dit was geen simpele vraag, maar een gedetailleerd script waarin de AI werd gevraagd om:

• De rol van een statistiek-expert aan te nemen.
• Stap voor stap na te denken (alsof je een puzzel oplost).
• Alleen het antwoord in een strakke tabel te geven, zonder gezeur.

Dit noemen ze een "Zero-shot" aanpak: de AI krijgt geen voorbeelden, maar moet het gewoon weten uit zijn eigen kennis.

---

🏆 De Resultaten: Wie wint de wedstrijd?

De onderzoekers lieten de AI's 36 verschillende taken uitvoeren, variërend van kleine experimenten (8 proefjes) tot grotere (32 proefjes). Hier is wat ze ontdekten:

1. De kleine proefjes (8 runs)

• Gemini: Een absolute winnaar! Het kon elke keer perfect de beste kaarten maken, ongeacht hoeveel ingrediënten er waren. Het was als een chef die elke keer precies de juiste hoeveelheid zout en peper meet.
• GPT: deed het ook heel goed, maar was soms net iets minder consistent.

2. De middelgrote proefjes (16 runs)

• Gemini: Bleef sterk. Voor experimenten met 5 tot 8 ingrediënten maakte het bijna altijd de perfecte kaarten.
• GPT: deed het ook goed voor de kleinere versies, maar begon te struikelen naarmate het aantal ingrediënten groter werd.

3. De grote proefjes (32 runs)

• Beide AI's: Hier kregen ze het zwaar. Zodra het experiment te complex werd (meer dan 8 of 9 ingrediënten), raakten ze in de war.
• Soms gaven ze helemaal geen antwoord.
• Soms gaven ze een antwoord dat eruitzag als een tabel, maar waar de getallen niet klopten (alsof de kok suiker in de soep doet in plaats van zout).
• Ze konden de "perfecte" kaarten niet meer garanderen.

---

💡 De Grote Les: Wanneer moet je wie vertrouwen?

De onderzoekers trekken een duidelijke conclusie:

• Voor simpele tot gemiddelde experimenten: Je kunt prima vertrouwen op Gemini. Het is als een betrouwbare assistent die je snel en goed helpt met het opzetten van je proefjes.
• Voor complexe experimenten: Ga niet blindelings op de AI af. Als je experiment groot en ingewikkeld is, is de AI nog te onvolwassen. In dat geval moet je terugvallen op de "oude school": de klassieke handboeken en gespecialiseerde software (zoals JMP of Minitab).

🚀 Wat betekent dit voor de toekomst?

De AI's worden elke dag slimmer. Vandaag de dag kunnen ze nog niet alles, maar over een paar jaar? Misschien wel. De onderzoekers zeggen dat we in de toekomst misschien AI's kunnen "trainen" met speciale boeken over statistiek, zodat ze nog beter worden.

Kortom: AI is een geweldige hulpmethode voor de dagelijkse taken, maar voor de zware, complexe wetenschappelijke puzzels is de menselijke expert (of de oude handboeken) voorlopig nog de baas.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "A systematic assessment of Large Language Models for constructing two-level fractional factorial designs", vertaald en samengevat in het Nederlands.

Titel: Een systematische beoordeling van Large Language Models voor het construeren van tweevoudige fractionele factoriële ontwerpen

1. Het Probleem

Tweevoudige fractionele factoriële ontwerpen (2-level fractional factorial designs) zijn een essentieel hulpmiddel in het ontwerp van experimenten (DoE) om complexe processen te bestuderen met een beperkt aantal runs. Traditioneel worden deze ontwerpen verkregen uit catalogi in standaardhandboeken (zoals Wu & Hamada, Montgomery) of statistische software (zoals JMP, Minitab, R-pakket FrF2).

Met de opkomst van Generatieve Kunstmatige Intelligentie (GenAI) en Large Language Models (LLM's) zoals GPT-5.1 en Gemini 2.5 Flash, is er een nieuwe mogelijkheid ontstaan om deze ontwerpen direct via chatbots te genereren. Echter, er was tot nu toe geen systematische beoordeling van de kwaliteit van deze door LLM's gegenereerde ontwerpen. De vraag is of deze modellen in staat zijn om statistisch optimale ontwerpen te construeren zonder gebruik te maken van gespecialiseerde software, en wat de beperkingen hiervan zijn.

2. Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd om de prestaties van twee populaire LLM-classes (GPT-5.1 en Gemini 2.5 Flash) te testen op de taak het construeren van tweevoudige fractionele factoriële ontwerpen.

• Prompt-ontwerp (Zero-shot Chain-of-Thought):
  De auteurs ontwikkelden een specifieke "Zero-shot Chain-of-Thought" (Zero-shot-CoT) prompt (Prompt 2). Deze prompt bevat de volgende elementen om de prestaties te maximaliseren:

  • Rol: Het model krijgt de rol van een expert in DoE.
  • Context: De doelstelling is duidelijk gedefinieerd: construeer een ontwerp met maximale resolutie en minimale aberratie.
  • Redenering: Het model wordt gevraagd om "stap voor stap" na te denken over de constructie.
  • Output-formaat: Om analyse te vergemakkelijken, wordt het model strikt instructies gegeven om alleen een CSV-formaat tabel te genereren (zonder uitlegtekst), met kolommen voor runs en factoren (gecodeerd als -1 en 1).
  • Geen voorbeelden: Er worden geen voorbeeldontwerpen gegeven (zero-shot) om de algemene kennis van het model te testen en kosten te beperken.

• Experimenteel Opzet:

  • Taken: 36 verschillende constructietaken, variërend in aantal runs (8, 16, 32) en aantal factoren (4 tot 26).
  • Herhaling: Elke taak werd 10 keer uitgevoerd met onafhankelijke sessies per model. In totaal werden 360 ontwerpen gegenereerd per model.
  • Validatie: De gegenereerde ontwerpen werden gecontroleerd op conformiteit (compleet, juiste formaat) en vervolgens geëvalueerd op statistische kwaliteit.

• Evaluatiecriteria:
  De kwaliteit werd gemeten aan de hand van:

  1. Resolutie: De lengte van het kortste woord in de definiërende relatie (hoger is beter).
  2. Minimale Aberratie (Minimum Aberration): Het minimaliseren van de aliasing van lage-orde effecten.
  3. Minimale Moment-Aberratie (Minimum Moment Aberration): Een computatievriendelijkere maatstaf die equivalent is aan minimale aberratie, maar ook toepasbaar is op niet-regular ontwerpen.

3. Belangrijkste Resultaten

• Ontwerpen met 8 Runs:

  • Gemini 2.5 Flash: Presteerde perfect. Het genereerde in 100% van de gevallen de optimale ontwerpen (minimale aberratie) voor 4 tot 7 factoren.
  • GPT-5.1: Constateerde ook optimale ontwerpen, maar met minder consistentie dan Gemini (bijv. 8 van de 10 keer voor 5 factoren).

• Ontwerpen met 16 Runs:

  • Beide modellen presteerden goed voor ontwerpen met 5 tot 8 factoren. Gemini 2.5 Flash behaalde een succesrate van minimaal 80% voor het vinden van de optimale ontwerpen in deze reeks.
  • Voor meer dan 8 factoren nam de prestatie af. De modellen konden vaak geen geldige ontwerpen genereren of produceerden ontwerpen met lagere resolutie dan het optimum.

• Ontwerpen met 32 Runs:

  • Gemini 2.5 Flash: Was uitzonderlijk goed voor het 6-factoren ontwerp (100% succesrate voor het optimale ontwerp). Voor 7 en 8 factoren werden ook optimale ontwerpen gevonden, maar met lagere frequentie.
  • GPT-5.1: Was matig effectief voor het 6-factoren ontwerp, maar faalde grotendeels bij ontwerpen met meer factoren.
  • Bij grotere aantallen factoren (boven de 8-9) faalden beide modellen vaak om een geldig ontwerp te genereren (veel "non-compliant" outputs of onmogelijke taken).

• Vergelijking:
  Gemini 2.5 Flash overtrof GPT-5.1 in consistentie, vooral bij kleinere ontwerpen (8 runs) en specifieke grotere ontwerpen (32 runs, 6 factoren). Beide modellen vertoonden echter een duidelijke afname in prestatie naarmate het aantal factoren en de complexiteit van het ontwerp toenamen.

4. Bijdragen van het Onderzoek

1. Eerste Systematische Beoordeling: Dit is het eerste onderzoek dat de kwaliteit van door LLM's gegenereerde fractionele factoriële ontwerpen kwantificeert en vergelijkt met de "state-of-the-art" uit de literatuur.
2. Prompt-techniek: De ontwikkeling van een gestructureerde Zero-shot-CoT prompt die specifiek is ontworpen voor DoE-taken, inclusief een strikt CSV-outputformaat voor automatische evaluatie.
3. Benchmarks: Het creëren van een dataset van 36 taken en 720 gegenereerde ontwerpen die als benchmark kan dienen voor toekomstige AI-modellen in het domein van statistisch experimenteel ontwerp.
4. Praktische Richtlijnen: Het bieden van concrete aanbevelingen aan practitioners over wanneer ze LLM's kunnen vertrouwen en wanneer ze terug moeten grijpen op traditionele software.

5. Betekenis en Conclusie

De studie concludeert dat Large Language Models potentieel hebben om optimale tweevoudige fractionele factoriële ontwerpen te construeren, maar dit is sterk afhankelijk van de complexiteit van de taak en het specifieke model.

• Aanbeveling: Voor praktische toepassingen met 8 runs (4-7 factoren) en 32 runs (6 factoren) is Gemini 2.5 Flash een betrouwbaar alternatief voor traditionele software. Voor 16 runs (5-8 factoren) is het ook bruikbaar, maar met een kleine waarschuwing voor fouten.
• Beperking: Voor ontwerpen met meer factoren of complexere configuraties zijn LLM's (in hun huidige vorm) nog niet betrouwbaar genoeg. Practitioners worden geadviseerd om voor deze gevallen te vertrouwen op gespecialiseerde software (JMP, Minitab, R) en handboeken.
• Toekomstperspectief: De auteurs suggereren dat de prestaties kunnen worden verbeterd door Few-shot prompting (met voorbeelden van constructiestappen) of Retrieval-Augmented Generation (RAG), waarbij het model toegang krijgt tot gespecialiseerde DoE-literatuur tijdens het genereren.

Samenvattend toont het papier aan dat AI een waardevol hulpmiddel wordt voor statistisch ontwerp, maar dat het nog niet volledig de gespecialiseerde software kan vervangen voor complexe scenario's.