When AI Evaluates Its Own Work: Validating Learner-Initiated, AI-Generated Physics Practice Problems

Diese explorative Studie zeigt, dass eine sorgfältig ausgewählte Kernmenge automatisierter Qualitätsprüfungen ausreicht, um KI-generierte Physik-Übungsaufgaben in Echtzeit sowohl technisch korrekt als auch lernendenzentriert zu validieren, ohne eine umfassende manuelle Bewertung zu benötigen.

Das Wesentliche

🤖 Wenn der Roboter seinen eigenen Hausaufgaben-Check macht: Ein Experiment mit Physik-Übungen

Stell dir vor, du bist ein Student, der gerade für eine große Physik-Prüfung lernt. Du hast alle alten Klausuren durchgearbeitet, aber du hast immer noch Angst vor einem bestimmten Thema, sagen wir: "Elektrische Felder". Du möchtest sofort eine neue Übungsaufgabe, die genau dieses Thema abdeckt.

Früher hättest du den Professor angeschrieben und gewartet, bis er Zeit hat, eine neue Aufgabe zu erfinden. Heute kannst du stattdessen einen KI-Chatbot fragen. Der Chatbot ist wie ein super-schneller, aber manchmal etwas verwirrter Assistent. Er spuckt sofort eine Aufgabe aus.

Aber hier liegt das Problem:
Was, wenn der Assistent eine Aufgabe erfindet, die physikalisch unmöglich ist? Oder eine, bei der die Lösung falsch ist? Oder eine, die so verwirrend formuliert ist, dass du gar nicht weißt, was du tun sollst? Das wäre wie ein Koch, der dir ein Rezept gibt, bei dem du "200 kg Fliegen" als Zutat brauchst – das funktioniert einfach nicht.

Die Forscher Tobias Geisler und Gerd Kortemeyer von der ETH Zürich haben sich genau diese Frage gestellt: Wie können wir sicherstellen, dass die KI-Aufgaben gut sind, ohne dass ein menschlicher Professor jede einzelne Aufgabe von Hand prüfen muss?

🧪 Das Experiment: 34 Studenten und 543 Aufgaben

Die Forscher haben 34 Studenten gebeten, sich mit einem speziellen Chatbot zu unterhalten, der wie ein Tutor für die Prüfungsvorbereitung funktioniert.

• Die Studenten fragten: "Gib mir eine Aufgabe zu Drehmoment."
• Der Chatbot spuckte zwei verschiedene Aufgaben aus.
• Die Studenten mussten wählen: "Welche davon will ich lösen?"

Insgesamt entstanden so 543 Aufgaben. Jede dieser Aufgaben wurde von einem echten Physik-Professor (einem Experten) auf Herz und Nieren geprüft. Er hat bewertet: "Ist die Aufgabe lösbar?", "Sind die Zahlen realistisch?", "Ist die Lösung korrekt?"

Das war die Wahrheit (das "Ground Truth").

🤖 Der Test: Kann die KI sich selbst beurteilen?

Jetzt kam der spannende Teil. Die Forscher haben andere KI-Modelle (die "Richter") eingesetzt, um dieselben 543 Aufgaben zu prüfen. Die Frage war: Kann die KI die Qualität der Aufgaben so gut erkennen wie der menschliche Professor?

Sie haben dabei nach drei Dingen gesucht:

1. Zuverlässigkeit: Erkennt die KI die Fehler des Professors?
2. Relevanz: Entscheiden sich die Studenten für Aufgaben, die die KI als "gut" eingestuft hat?
3. Geschwindigkeit: Kann die KI das schnell genug machen, damit der Chatbot nicht hängen bleibt?

🔍 Die Ergebnisse: Was zählt wirklich?

Die Forscher haben herausgefunden, dass man nicht jede einzelne Eigenschaft einer Aufgabe prüfen muss. Das wäre wie wenn man beim Autokauf den Motor, die Farbe, den Sitzbezug, den Kofferraum, den Radio und die Türgriffe einzeln auf Herz und Nieren prüft, bevor man überhaupt weiß, ob das Auto fährt.

Stattdessen reichen ein paar wichtige Checkpunkte aus:

1. Der "Lösungs-Plan" (Solution Strategy):

   • Analogie: Stell dir vor, du willst ein Puzzle lösen. Wenn dir jemand sagt: "Hier ist ein Tipp: Fang mit den Randstücken an", ist das viel besser als wenn du raten musst.
   • Die Studenten mochten Aufgaben, bei denen die KI einen kleinen Hinweis oder eine Strategie gab, ohne die ganze Lösung zu verraten. Das zeigte den Studenten: "Okay, ich weiß, worauf ich achten muss."

2. Klarheit und Vollständigkeit:

   • Analogie: Wenn dir jemand sagt: "Kauf ein Auto", aber nicht sagt, wie viele Türen es haben soll oder ob es ein Benziner oder Diesel ist, bist du verwirrt.
   • Aufgaben mussten klar formuliert sein. Fehlen wichtige Zahlen oder Einheiten (z. B. "in Metern"), lehnten die Studenten sie ab.

3. Die Einheiten:

   • Analogie: Wenn du im Supermarkt "5" kaufst, weißt du nicht, ob es 5 Äpfel, 5 Tonnen oder 5 Sekunden sind.
   • Die KI musste klar sagen, in welcher Einheit das Ergebnis sein soll.

🚫 Was ist NICHT so wichtig?

Überraschenderweise waren Dinge wie "Ist die Sprache sehr kreativ?" oder "Ist das Beispiel aus dem echten Leben?" (z. B. ein Auto vs. ein Block auf einer Rampe) für die Studenten in diesem Moment nicht der entscheidende Faktor. Sie wollten vor allem klare, lösbare Aufgaben, die sie nicht verwirren.

Auch die "Schwierigkeitsstufe" war schwer für die KI zu erkennen. Die KI dachte oft, eine Aufgabe sei einfach, wenn der Professor sie als schwer eingestuft hat (und umgekehrt). Das lag daran, dass die Studenten oft nur sagten "Gib mir eine Aufgabe", ohne zu sagen, wie schwer sie sein soll.

💡 Das Fazit: Ein einfacher Filter reicht

Die Studie zeigt: Wir brauchen keinen riesigen, komplizierten Sicherheitsgurt für KI-Aufgaben. Ein kleiner, schlauer Filter reicht völlig aus.

Wenn wir sicherstellen, dass:

1. Die Aufgabe lösbar ist (keine physikalischen Widersprüche),
2. Die Lösung korrekt ist (die KI rechnet selbst nach),
3. Es einen klaren Hinweis gibt, wie man vorgehen soll, und
4. Die Einheiten stimmen...

...dann sind die Aufgaben gut genug für die Studenten. Die KI kann das alles in Millisekunden prüfen. Das bedeutet: Skalierbare, schnelle und faire Hilfe für jeden Studenten, ohne dass ein Professor jede Nacht durchwachen muss.

Zusammengefasst:
Die KI ist wie ein junger Koch, der gerne kocht. Manchmal vergisst er Salz oder nimmt zu viel Pfeffer. Wir brauchen keinen neuen Koch, der jeden Teller probiert. Wir brauchen nur einen einfachen Check, der sagt: "Hast du das Salz drin? Ist das Rezept lesbar? Ist das Essen essbar?" Wenn ja – dann kann der Student essen. Das macht das Lernen mit KI sicher, schnell und hilfreich.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs) können physikalische Übungsaufgaben in Echtzeit generieren, doch deren pädagogischer Wert hängt von einer schnellen und zuverlässigen Überprüfung nach der Generierung ab. In großen Vorlesungen können Dozenten nicht auf individuelle, themenspezifische Anfragen reagieren oder neue Aufgaben on-demand erstellen.
Das Hauptproblem besteht darin, dass generierte Aufgaben oft:

• Nicht mit dem Lehrplan übereinstimmen.
• Unvollständig oder widersprüchlich sind.
• Fehlerhafte Lösungen enthalten (sogenannte „Halluzinationen").
• Physikalisch inkorrekt sind (z. B. falsche Näherungen).

Ohne eine robuste Validierung sind diese Aufgaben für das Lernen ungeeignet, da sie Verwirrung stiften oder falsche Konzepte vermitteln können. Die Studie untersucht, welche automatisierten Checks technisch machbar und pädagogisch sinnvoll sind, um die Qualität von KI-generierten Physik-Aufgaben in Echtzeit zu sichern.

2. Methodik

Die Studie wurde im Rahmen einer kontrollierten Laborstudie mit 34 Studierenden eines Einführungskurses in Physik an der ETH Zürich durchgeführt.

• Datensatz: Die Studierenden bereiteten sich auf eine Prüfung vor und interagierten mit einem Chatbot (basierend auf dem „Ethel"-System der ETH Zürich). Insgesamt wurden 543 Übungsaufgaben generiert. Die Studierenden mussten bei jeder Anfrage zwischen zwei KI-generierten Kandidaten wählen, um ihre Präferenz zu zeigen.
• Ground Truth (Referenz): Ein Experte (Gerd Kortemeyer) bewertete alle 543 Aufgaben und die dazugehörigen Dialoge anhand eines umfangreichen Sets von Qualitätsmetriken (z. B. Lösbarkeit, Klarheit, Bloom-Niveau, Vorhandensein von Lösungshinweisen, Realismus der Daten).
• Automatisierte Bewertung (LLM-as-a-Judge): Drei kommerzielle LLMs (GPT-4o, GPT-4o-mini, GPT-o3-mini/low) wurden eingesetzt, um dieselben Metriken automatisch zu bewerten.
• Analyse:
  1. Benchmarking: Vergleich der LLM-Bewertungen mit dem Experten-Label (Agreement-Metriken wie F1-Score, Precision, Recall).
  2. Prädiktive Modellierung: Einsatz von Random-Forest-Modellen, um zu bestimmen, welche Metriken die Wahl der Studierenden (Präferenz) vorhersagen.
  3. Triangulierung: Abgleich der quantitativen Ergebnisse mit qualitativen Daten aus Exit-Umfragen.
• Definitionen:
  • Zuverlässig (Reliable): Hohe Übereinstimmung zwischen LLM und Experten.
  • Relevant (Relevant): Metriken, die die Wahl der Studierenden signifikant vorhersagen.
  • Automatisch bewertbar: Metriken, die skalierbar, kostengünstig und in Echtzeit berechenbar sind.

3. Wichtige Beiträge

• Evaluierung von Metriken-Pipelines: Die Studie stellt einen der größten bisher in der Literatur zusammengestellten Sets von Qualitätsmetriken für KI-generierte Physik-Aufgaben vor und testet deren automatische Bewertbarkeit.
• Reduktion der Metriken-Komplexität: Es wird gezeigt, dass keine exhaustive Bewertung aller denkbaren Qualitätsmerkmale notwendig ist. Stattdessen genügt ein kleiner, sorgfältig kurierter Kern von Metriken.
• Unterscheidung von Problemtypen: Die Analyse unterscheidet zwischen Multiple-Choice-Aufgaben („Radio-Button") und numerischen Aufgaben, da diese unterschiedliche Prädiktoren für die Schülerpräferenz aufweisen.
• Modellvergleich: Es wird verglichen, ob „Reasoning"-Modelle (mit schrittweiser Logik) signifikant bessere Ergebnisse liefern als Standard-Modelle bei der Bewertung von Aufgabenqualität.

4. Ergebnisse

A. Zuverlässigkeit der LLMs (RQ1):

• Nur eine kleine Teilmenge der Metriken erreichte eine starke Übereinstimmung mit dem Experten (F1-Score ≥ 0,80).
• Hohe Zuverlässigkeit: Metriken wie includes-solution-strategy (Vorhandensein eines Lösungswegs), measurement-unit-is-clearly-stated (klare Angabe der Einheiten) und llm-solution-is-correct (Korrektheit der Lösung) wurden von den LLMs gut erkannt.
• Geringe Zuverlässigkeit: Kategoriale Metriken wie das Bloom-Niveau oder die Schwierigkeitsstufe (exercise-difficulty-level) wurden von den LLMs schlecht bewertet (F1 < 0,50). Oft konnten weder Experten noch LLMs die gewünschte Schwierigkeit aus dem Prompt ableiten.
• Modellvergleich: Das Modell GPT-o3-mini/low (Reasoning-Modell) erzielte die meisten „Siege" bei den F1-Scores, aber der Unterschied zu nicht-reasoning Modellen (GPT-4o) war nicht immer signifikant, insbesondere bei einfachen strukturellen Checks.

B. Relevanz für Schülerpräferenzen (RQ2):

• Prädiktoren für die Wahl: Random-Forest-Modelle zeigten, dass Studierende vor allem auf sichtbare Oberflächeneigenschaften achten, bevor sie eine Aufgabe lösen:
  1. Vorhandensein eines expliziten Lösungswegs/Hinweises (includes-solution-strategy).
  2. Klarheit und Vollständigkeit der Aufgabenstellung (task-is-specific-and-complete).
  3. Klare Angabe der Einheiten (measurement-unit-is-clearly-stated).
• Überraschende Korrelation: Die Korrektheit der Lösung (llm-solution-is-correct) war ein starker Prädiktor, obwohl die Schüler dies vor dem Lösen nicht wissen sollten. Dies liegt daran, dass diese Metrik stark mit der strukturellen Klarheit korreliert (Cluster B).
• Schwierigkeit: Obwohl Schüler Aufgaben als „schwieriger" oder „tiefgründiger" wahrnahmen (korreliert mit Bloom-Level), waren diese Metriken schwer automatisch zu bewerten und oft nicht aus dem Prompt ableitbar.

C. Automatisierte Bewertung (RQ3):

• Es wurde ein kompakter „Metric-Stack" identifiziert, der sowohl zuverlässig als auch relevant ist und kostengünstig berechnet werden kann:
  1. includes-solution-strategy (Proxy für kognitive Tiefe).
  2. llm-solution-is-correct (Korrektheit).
  3. task-is-specific-and-complete (Strukturelle Integrität).
  4. measurement-unit-is-clearly-stated (Klarheit).
• Für die ersten beiden Metriken eignen sich Reasoning-Modelle, für die letzten zwei reichen günstigere, schnellere Modelle.

D. Feedback der Studierenden:

• Studierende schätzten die Möglichkeit, sofortige, themenspezifische Aufgaben zu erhalten und Schritt-für-Schritt-Lösungen zu sehen.
• Kritikpunkte waren: Wiederholungstypen („nur neue Zahlen"), fehlende Diagramme, gelegentliche falsche Lösungen und zu schnelle Anzeige der vollständigen Lösung (was den Denkprozess unterbricht).

5. Bedeutung und Schlussfolgerungen

Die Studie liefert einen praktischen Bauplan für den Einsatz von KI-generierten Übungen in der Physik und anderen quantitativen Disziplinen:

1. Skalierbarkeit: Formative Bewertung in Echtzeit erfordert keine exhaustive Bewertung aller pädagogischen Qualitäten. Ein Fokus auf strukturelle Integrität und sichtbare Merkmale reicht aus, um technische Fehler zu filtern und die Nutzerakzeptanz zu sichern.
2. Effizienz: Durch die Reduktion auf einen Kern von 4–5 Metriken kann die Rechenzeit und die Kosten für die Validierung drastisch gesenkt werden, ohne die Vorhersagekraft für die Schülerpräferenz zu verlieren.
3. Qualitätssicherung: Ein „Filter-System", das Aufgaben zurückweist, wenn sie nicht lösbar, mehrdeutig oder physikalisch inkonsistent sind, ist essenziell, bevor sie den Studierenden präsentiert werden.
4. Zukunftsausblick: Um die pädagogische Tiefe zu erhöhen, müssen zukünftige Systeme in der Lage sein, visuelle Elemente (Diagramme) zu integrieren und die Schwierigkeit besser an den Lernfortschritt anzupassen, da dies aktuell schwer automatisiert zu bewerten ist.

Zusammenfassend zeigt die Arbeit, dass eine pragmatische Kombination aus strukturellen Checks und KI-gestützter Lösungsbewertung ausreicht, um qualitativ hochwertige, KI-generierte Physik-Übungen in Echtzeit bereitzustellen.