A Multi-Agent Approach to Validate and Refine LLM-Generated Personalized Math Problems

1. Problemstellung

Die Kontextpersonalisierung von Lehrinhalten, bei der mathematische Aufgaben an die individuellen Interessen von Schülern angepasst werden, hat nachweislich positive Auswirkungen auf das Engagement und die Lernergebnisse. Große Sprachmodelle (LLMs) bieten das Potenzial, dies im großen Maßstab zu automatisieren. Allerdings weisen LLM-generierte personalisierte Probleme häufig erhebliche Mängel auf, die ihre Einsatzfähigkeit im Klassenzimmer einschränken:

• Mathematische Inkonsistenzen: Ungültige Lösungen, widersprüchliche Größen oder mehrdeutige Aufgabestellungen.
• Unrealistische Szenarien: Zahlenwerte oder Kontexte, die gegen reale Normen verstoßen (z. B. eine Wasserflasche für 100 Dollar).
• Mangelnde Authentizität: Der Kontext passt nicht zu den tatsächlichen Erfahrungen oder dem Alter der Schüler (z. B. veraltete Popkultur-Referenzen).
• Lesbarkeit: Der generierte Text kann für die Zielgruppe zu komplex sein.

Bestehende Ansätze wie Self-Refine oder Reflexion nutzen oft undifferenziertes Selbst-Feedback, das domänenspezifische Constraints (wie die Balance zwischen Realismus und Lesbarkeit) übersieht. Es fehlt ein systematischer Ansatz, der validiertes Feedback mehrerer spezialisierter Prüfer in effektive Revisionen umwandelt.

2. Methodik

Die Autoren schlagen ein Multi-Agenten-Framework vor, das den Personalisierungsprozess als iterativen Generate–Validate–Revise-Zyklus formalisiert. Das System besteht aus folgenden Komponenten:

A. Agenten-Architektur

1. Conversion Agent: Generiert aus einer ursprünglichen mathematischen Aufgabe ($p$) und einem Zielthema ($t$) einen ersten Kandidaten ($\hat{p}$). Er versucht, vier Constraints zu erfüllen: Realismus, Authentizität, Lesbarkeit (angepasst an das Leseverständnis-Niveau) und mathematische Konsistenz.
2. Spezialisierte Validator-Agenten: Vier unabhängige Agenten prüfen den Kandidaten und geben ein binäres Ergebnis (Bestanden/Nicht bestanden) sowie diagnostisches Feedback:
   • Realism Agent: Prüft Plausibilität von Größen, Einheiten und Kontextdetails.
   • Readability Agent: Prüft Vokabular und Satzkonnektion anhand des Flesch-Kincaid-Index.
   • Solvability Agent: Löst die Aufgabe, um mathematische Konsistenz und die Existenz einer korrekten Antwortoption zu verifizieren.
   • Authenticity Agent: Prüft, ob der Kontext altersgerecht und für Mittelschüler relatable ist.
3. Refinement Agent: Nutzt das Feedback der Validatoren, um den Kandidaten zu korrigieren, ohne die mathematische Struktur oder das Zielthema zu verändern.

B. Drei Verfeinerungsstrategien (Refinement Strategies)

Das Paper vergleicht drei Strategien, wie das Feedback der Validatoren in Revisionen integriert wird:

1. Centralized Refinement (Zentralisiert): Alle Feedback-Nachrichten der gescheiterten Validatoren werden zu einer einzigen Nachricht zusammengefasst. Ein einzelner Refinement-Agent nutzt dieses aggregierte Feedback für die Revision.
2. Centralized Refinement with Planning (Zentralisiert mit Planung): Ein zusätzlicher Planning Agent wandelt das unstrukturierte aggregierte Feedback in einen strukturierten, priorisierten Aktionsplan um (z. B. zuerst mathematische Korrektheit, dann Stil). Der Refinement-Agent führt diesen Plan aus.
3. Decentralized Refinement (Dezentralisiert): Jeder Validator ist mit einem dedizierten Refinement-Agenten gekoppelt. Wenn ein Validator scheitert, wird nur der spezifische Refinement-Agent für dieses Kriterium aktiviert. Die Revisionen werden sequenziell in einer festen Prioritätsreihenfolge (Korrektheit → Realismus → Authentizität → Lesbarkeit) angewendet. Dies verhindert Informationsüberlastung und kaskadierende Fehler.

3. Experimentelles Setup

• Datensatz: 600 Mathematikaufgaben von der Plattform ASSISTments.
• Personalisierung: Jede Aufgabe wurde auf eines von 20 festgelegten Schülerinteressen-Themen (z. B. Sport, Medien, Spiele) angepasst.
• Modell: GPT-5.2 (mit Temperatur 0 für deterministische Ergebnisse).
• Baseline: Zero-Shot-Ausgabe des Conversion Agents ohne Validierung.
• Evaluation: Quantitativer Vergleich der Fehlerquoten über maximal 3 Iterationen sowie eine menschliche Evaluation der Zuverlässigkeit der Validator-Agenten.

4. Wichtige Ergebnisse

Quantitative Analyse

• Häufigste Fehler: In der initialen Zero-Shot-Phase sind Authentizität und Realismus die häufigsten Fehlerquellen. Mathematische Lösbarkeit (Solvability) ist bereits bei der Erstgenerierung hoch und konvergiert schnell gegen Null.
• Effektivität der Iteration: Ein einziger Verfeinerungsschritt reduziert die Fehlerquoten für Realismus und Authentizität drastisch.
• Vergleich der Strategien:
  • Decentralized Refinement: Konvergiert am schnellsten bei Realismus und Lesbarkeit. Da jeder Agent sich auf ein Kriterium spezialisiert, werden lokale Korrekturen effizienter vorgenommen, ohne andere Constraints zu stören.
  • Centralized with Planning: Konvergiert am schnellsten bei Authentizität. Da Authentizität oft globale Kohärenz erfordert, scheint die strukturierte Planung und Priorisierung hier vorteilhafter zu sein als die sequenzielle, isolierte Bearbeitung.
  • Centralized Refinement: Zeigt mittlere Performance, da das Aggregieren aller Feedbacks den Refinement-Agenten vor eine komplexe Abwägungsaufgabe stellt.

Menschliche Evaluation (Zuverlässigkeit der Validatoren)

• Realismus & Lesbarkeit: Die LLM-Validator zeigen eine „faire" Übereinstimmung mit menschlichen Annotatoren (Cohen's $\kappa$ von 0,322 bzw. 0,281). Die LLMs können diese eher objektiven Kriterien gut bewerten.
• Authentizität: Die Übereinstimmung ist gering ($\kappa = 0,133$). Dies liegt an der Subjektivität des Begriffs und dem Mangel an domänenspezifischem Wissen (z. B. Wissen über Baseball-Regeln oder Popkultur) beim LLM-Validator im Vergleich zu menschlichen Experten.
• Inter-Annotator-Übereinstimmung: Auch die menschlichen Annotatoren zeigten bei Authentizität eine sehr geringe Übereinstimmung ($\kappa = 0,023$), was die inhärente Schwierigkeit dieses Kriteriums unterstreicht.

Fallstudien

Die Analyse zeigt, dass die Strategien unterschiedliche Kompromisse eingehen:

• Zentralisiert behält oft die mathematische Form bei, opfert aber den Kontext.
• Zentralisiert mit Planung verbessert den Realismus, kann aber die pädagogische Intention (z. B. das Üben negativer Zahlen) verfälschen.
• Dezentralisiert sorgt für narrative Kohärenz, führt aber manchmal zu logischen Inkonsistenzen in der Geschichte, wenn die mathematische Struktur zu starr beibehalten wird.

5. Bedeutung und Schlussfolgerungen

Das Paper demonstriert, dass ein Multi-Agenten-Ansatz mit spezialisierten Validatoren effektiv ist, um die Qualität von LLM-generierten, personalisierten Mathematikaufgaben zu sichern.

• Kernbeitrag: Die Einführung eines formalisierten Generate-Validate-Revise-Zyklus mit vier spezifischen Qualitätskriterien und der Vergleich von Koordinationsstrategien für Feedback.
• Erkenntnis: Es gibt keine „One-Size-Fits-All"-Strategie. Die Wahl der Verfeinerungsstrategie sollte vom Zielkriterium abhängen (Dezentralisiert für lokale Korrekturen wie Realismus, Zentralisiert mit Planung für globale Kohärenz wie Authentizität).
• Herausforderung: Die Bewertung von „Authentizität" bleibt schwierig und erfordert entweder domänenspezifisches Wissen oder menschliche Einbindung, da LLMs hier noch nicht zuverlässig mit menschlichen Urteilen übereinstimmen.
• Zukunftsausblick: Die Autoren empfehlen zukünftige Arbeiten, die adaptive Agenten-Orchestrierung nutzen und größere Studien mit echten Lehrern und Schülern durchführen, um den Lerneffekt und die Validität der Authentizitätsbewertung zu messen.

Zusammenfassend bietet das Framework einen robusten Weg, um die Lücke zwischen der Skalierbarkeit von LLMs und den hohen pädagogischen Qualitätsanforderungen im Mathematikunterricht zu schließen.