A systematic assessment of Large Language Models for constructing two-level fractional factorial designs

Diese Studie führt eine systematische Bewertung von GPT- und Gemini-Modellen durch und zeigt, dass diese Large Language Models durch gezieltes Prompting effektiv optimale zweistufige fraktionale Faktoriendesigns mit bis zu acht Faktoren und 8, 16 oder 32 Versuchen konstruieren können.

Das Wesentliche

Hier ist eine einfache und kreative Zusammenfassung der Studie auf Deutsch, die komplexe statistische Konzepte mit alltäglichen Bildern erklärt:

🧪 Der große KI-Test: Können Chatbots echte Experimente planen?

Stellen Sie sich vor, Sie sind ein Koch, der ein neues Rezept entwickeln möchte. Sie haben viele Zutaten (Faktoren), aber nur eine begrenzte Anzahl an Versuchen (Läufe), um herauszufinden, welche Kombination am besten schmeckt. In der Statistik nennt man das Versuchsplanung.

Früher mussten Experten dicke Bücher aufschlagen oder spezielle Software nutzen, um die perfekte Kombination von Zutaten für den besten Versuch zu finden. Diese perfekten Kombinationen sind wie ein Schlüssel, der sicherstellt, dass man keine wichtigen Informationen verpasst.

Jetzt kommen die großen Sprach-KI-Modelle (wie ChatGPT oder Gemini) ins Spiel. Die Frage der Autoren dieser Studie war: Können diese KI-Chats diese perfekten „Rezepte" für Experimente selbstständig erfinden, ohne dass wir ihnen ein Buch in die Hand drücken?

🍳 Die Küche: Was haben die Forscher gemacht?

Die Autoren haben zwei berühmte KI-Köche getestet: GPT-5.1 (von OpenAI) und Gemini 2.5 Flash (von Google).

Sie haben den KIs eine sehr spezifische Aufgabe gegeben: „Erstelle ein Experiment mit X Zutaten und Y Versuchen, das so effizient wie möglich ist."

Um das zu erreichen, haben sie den KIs einen perfekten Kochzettel (Prompt) gegeben. Dieser Zettel sagte nicht nur „Koch etwas", sondern erklärte der KI:

1. Die Rolle: „Du bist ein Weltklasse-Statistiker."
2. Der Plan: „Denke Schritt für Schritt nach."
3. Das Ziel: „Mache das Experiment so effizient wie möglich (maximale Auflösung, minimale Fehler)."
4. Das Format: „Gib mir nur die Tabelle, keine langen Erklärungen."

🏆 Das Ergebnis: Wer hat die beste Note bekommen?

Die Forscher haben 36 verschiedene Szenarien getestet (von kleinen Experimenten mit 8 Versuchen bis zu großen mit 32 Versuchen).

1. Die kleinen Experimente (8 Versuche):
Hier waren beide KIs Meisterköche. Sie haben fast immer das perfekte Rezept gefunden.

• Gemini war dabei besonders zuverlässig. Es hat in 100 % der Fälle das perfekte Ergebnis geliefert.
• GPT war auch sehr gut, hatte aber manchmal kleine Schwankungen.

2. Die mittleren Experimente (16 Versuche):
Hier wurde es knifflig.

• Beide KIs schafften es oft, gute Rezepte für bis zu 8 Zutaten zu finden.
• Aber sobald es mehr Zutaten gab, begannen sie zu stolpern. Sie lieferten manchmal unvollständige Tabellen oder gar keine Antwort mehr. Es war, als würde ein Koch versuchen, ein 50-Gänge-Menü zu kochen, aber bei der 10. Gänge die Zutaten verwechseln.

3. Die großen Experimente (32 Versuche):
Hier war die KI überfordert.

• Für sehr komplexe Experimente mit vielen Faktoren (Zutaten) konnten die KIs die perfekten Kombinationen nicht mehr zuverlässig finden. Oft fehlten ihnen die richtigen „Schlüssel" für die komplexen mathematischen Zusammenhänge.
• In diesen Fällen ist es immer noch besser, auf die bewährten Kochbücher (Lehrbücher) oder Spezial-Software zurückzugreifen.

🤖 Die große Erkenntnis: KI ist ein toller Assistent, aber kein Ersatz für den Profi

Die Studie zeigt uns etwas Wundervolles und etwas Vorsichtiges:

• Das Gute: Für alltägliche, kleinere Experimente (die in der Praxis am häufigsten vorkommen) können wir uns auf diese KIs verlassen. Sie sind schnell, kreativ und liefern oft das beste Ergebnis. Gemini hat sich dabei als der etwas zuverlässigere „Assistent" erwiesen.
• Das Vorsichtige: Wenn die Experimente sehr komplex werden (viele Faktoren, viele Versuche), verlieren die KIs den Überblick. Sie halluzinieren dann manchmal oder liefern unvollständige Ergebnisse.

💡 Die Metapher zum Schluss

Stellen Sie sich die KI wie einen brillanten Praktikanten vor:

• Wenn Sie ihn bitten, eine einfache Torte zu backen (kleines Experiment), macht er das perfekt und vielleicht sogar schneller als Sie.
• Wenn Sie ihn bitten, ein riesiges Bankett mit 50 komplexen Gerichten zu planen (großes, komplexes Experiment), braucht er vielleicht noch ein bisschen mehr Anleitung oder einen erfahrenen Chefkoch (die klassische Statistik-Software), der über die Schulter schaut.

Fazit: Die KI ist ein mächtiges Werkzeug, das uns im Alltag viel Arbeit abnimmt, aber für die allergrößten und komplexesten Herausforderungen sollten wir die bewährten Werkzeuge der Experten nicht ganz in den Schrank werfen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „A systematic assessment of Large Language Models for constructing two-level fractional factorial designs" auf Deutsch:

1. Problemstellung

Das Design von Experimenten (DoE) ist ein zentrales Werkzeug der Statistik, um komplexe Prozesse zu analysieren. Zwei-stufige fraktionale Faktorialpläne ($2^{m-p}$) ermöglichen es, viele Faktoren mit einer begrenzten Anzahl von Versuchen (Runs) zu untersuchen. Traditionell werden diese Pläne aus etablierten Katalogen in Lehrbüchern (z. B. Wu & Hamada, Montgomery) oder spezieller Software (JMP, Minitab, R-Pakete) entnommen, um optimale Kriterien wie Auflösung (Resolution) und Minimale Aberration (Minimum Aberration) zu erfüllen.

Mit dem Aufkommen von Generativer KI (GenAI) und Large Language Models (LLMs) wie ChatGPT und Gemini stellt sich die Frage, ob diese Modelle in der Lage sind, solche statistisch optimalen Versuchspläne eigenständig zu konstruieren. Bisher fehlte eine systematische Bewertung der Qualität und Zuverlässigkeit von LLMs bei dieser spezifischen ingenieurwissenschaftlichen Aufgabe. Das Paper untersucht, ob LLMs als Ersatz oder Ergänzung zu traditioneller Software für die Generierung von $2^{m-p}$-Plänen geeignet sind.

2. Methodik

Die Autoren entwickelten einen systematischen Evaluierungsansatz, der auf Zero-Shot-CoT-Prompts (Chain-of-Thought ohne Beispiele) basiert.

• Prompt-Engineering: Es wurde eine spezielle Prompt-Vorlage (Prompt 2) entwickelt, die folgende Techniken kombiniert:
  • Rolle (Role): Das LLM wird als Experte für „Design of Experiments" definiert.
  • Kontext & Ziel: Die Aufgabe wird klar definiert (Konstruktion eines Plans mit maximaler Auflösung und minimaler Aberration).
  • Chain-of-Thought (CoT): Der Befehl „Denke Schritt für Schritt" (Let's think step by step) wird verwendet, um das logische Denken des Modells zu aktivieren, ohne dass Beispiele vorgegeben werden (Zero-Shot).
  • Output-Format: Eine strenge Vorgabe für die Ausgabe in CSV-Format (Comma-Separated Values), um die automatische Verarbeitung und Bewertung durch Python-Code zu ermöglichen.
• Evaluierte Modelle: Die Studie vergleicht zwei führende Modelle (Stand März 2026): GPT-5.1 (OpenAI) und Gemini 2.5 Flash (Google).
• Experimentelles Design:
  • Aufgaben: 36 verschiedene Konstruktionstasks mit Laufgrößen (Runs) von 8, 16 und 32 sowie einer Faktoranzahl ($m$) von 4 bis 26.
  • Wiederholungen: Jede Aufgabe wurde 10-mal unabhängig ausgeführt, um die Konsistenz zu testen. Insgesamt wurden 360 Pläne pro Modell generiert.
• Bewertungskriterien:
  • Konformität: Wurde der Plan korrekt im CSV-Format ohne Fehler generiert?
  • Statistische Qualität: Die Pläne wurden hinsichtlich Auflösung und Minimale Moment-Aberration (Minimum Moment Aberration) bewertet. Die Moment-Aberration wurde gewählt, da sie auch für nicht-reguläre Designs anwendbar ist und bei vielen Faktoren recheneffizienter ist als die klassische Wortlängenmuster-Analyse (WLP).

3. Wichtige Ergebnisse

Die Studie zeigt deutliche Unterschiede in der Leistungsfähigkeit der beiden Modelle, abhängig von der Komplexität des Plans:

• 8-Run-Pläne (4–7 Faktoren):
  • Gemini 2.5 Flash: Erzielte in 100 % der Fälle die optimalen Designs (minimale Aberration) für alle getesteten Faktoranzahlen.
  • GPT-5.1: Konstruierte ebenfalls optimale Designs, jedoch mit geringerer Konsistenz (z. B. nur 5 von 10 Versuchen für 6 Faktoren waren optimal).
• 16-Run-Pläne (5–15 Faktoren):
  • Beide Modelle waren bei 5 bis 8 Faktoren sehr erfolgreich. Gemini erreichte hier eine Erfolgsrate von mindestens 80 % für optimale Designs.
  • Bei mehr als 8 Faktoren nahm die Leistung beider Modelle ab. GPT-5.1 scheiterte oft bei 12 Faktoren, und die Konsistenz von Gemini nahm ebenfalls ab.
• 32-Run-Pläne (6–26 Faktoren):
  • Gemini 2.5 Flash: Zeigte eine bemerkenswerte Stärke bei 6 Faktoren, indem es in 100 % der Fälle den optimalen Plan generierte. Bei 7 und 8 Faktoren wurde der optimale Plan mindestens einmal gefunden.
  • GPT-5.1: War bei 32-Run-Plänen mit mehr als 6 Faktoren weitgehend ineffektiv und konnte selten optimale Designs finden.
  • Allgemeines Problem: Bei höheren Faktoranzahlen (insbesondere >10) scheiterten beide Modelle häufig daran, überhaupt einen konformen Plan zu generieren (fehlende Einträge, falsche Syntax oder Ablehnung der Aufgabe).

4. Hauptbeiträge des Papers

1. Systematische Benchmark-Studie: Dies ist eine der ersten Arbeiten, die LLMs systematisch auf ihre Fähigkeit zur Konstruktion komplexer statistischer Versuchspläne testet.
2. Entwicklung eines Zero-Shot-Prompt-Templates: Die Autoren stellen eine robuste Prompt-Vorlage vor, die ohne Few-Shot-Beispiele (die teuer und aufwendig zu erstellen wären) auskommt und dennoch hohe Qualität liefert.
3. Vergleichende Analyse: Die Studie liefert klare empirische Belege dafür, dass Gemini 2.5 Flash in diesem spezifischen Domänenbereich derzeit GPT-5.1 übertrifft, insbesondere bei der Konsistenz und der Fähigkeit, komplexe mathematische Strukturen zu erkennen.
4. Praktische Empfehlungen: Die Autoren geben konkrete Handlungsempfehlungen für Praktiker:
   • Für einfache bis mittlere Pläne (8 Runs, 4–7 Faktoren; 16 Runs, 5–8 Faktoren; 32 Runs, 6 Faktoren) kann Gemini 2.5 Flash erfolgreich eingesetzt werden.
   • Für komplexere Pläne (>8 Faktoren) wird weiterhin die Nutzung traditioneller Software (JMP, Minitab, R) oder Lehrbuchkataloge empfohlen, da LLMs hier inkonsistent sind.

5. Bedeutung und Ausblick

Die Studie demonstriert das Potenzial von GenAI als Werkzeug in der experimentellen Planung, zeigt aber auch klare Grenzen auf. LLMs sind derzeit keine vollständigen Ersatzlösungen für spezialisierte DoE-Software, können aber als effektive Assistenten für Standardaufgaben dienen.

Als zukünftige Forschungsrichtungen schlagen die Autoren vor:

• Den Einsatz von Few-Shot-Prompts mit Chain-of-Thought-Beispielen, um die Leistung zu steigern (obwohl dies die Prompt-Länge und Kosten erhöht).
• Die Anwendung von Retrieval-Augmented Generation (RAG), bei der das LLM Zugriff auf externe DoE-Lehrbücher und Datenbanken erhält, um die Genauigkeit bei komplexen Designs zu verbessern.
• Die Weiterverfolgung der Entwicklung neuerer LLM-Versionen, da sich die Fähigkeiten im Bereich Zero-Shot-CoT schnell weiterentwickeln.

Zusammenfassend belegt das Paper, dass moderne LLMs in der Lage sind, mathematisch korrekte und statistisch optimale Versuchspläne zu generieren, solange die Komplexität (Anzahl der Faktoren) innerhalb bestimmter Grenzen bleibt.