Technisches Resümee: Learning to Prompt – Verbesserung des Schülerengagements durch adaptives LLM-basiertes High-School-Tutoring

Problemstellung

Obwohl Large Language Models (LLMs) ein erhebliches Potenzial für die Personalisierung der Bildung bieten, stehen aktuelle Tutoring-Systeme vor drei primären Einschränkungen:

1. Statisches Prompting: Die meisten bestehenden Systeme verlassen sich auf statische Prompts, die für ein einzelnes Fach (z. B. Mathematik) konzipiert sind, und versäumen es, sich an die vielfältigen Anforderungen verschiedener akademischer Disziplinen (z. B. Französisch, Geografie, Physik) anzupassen.
2. Simulations-zu-Realitäts-Gap: Die Forschung validiert die pädagogische Wirksamkeit oft in synthetischen Umgebungen, in denen simulierte Schüler eine „Sycophantismus“-Neigung oder idealisiertes Verhalten zeigen können, was zu Distributionsverschiebungen bei der Anwendung mit echten Schülern führt.
3. Feedback-Spärlichkeit: In realen Szenarien überspringen Nutzer oft formale Übungen nach der Interaktion mit einem Tutor, was zu einem Mangel an unmittelbarem, explizitem Feedback (z. B. Testergebnissen) führt, das für das Training adaptiver Modelle notwendig ist. Bestehende Ansätze verlassen sich oft auf einzelne Black-Box-Scores, die anfällig für hohe Varianz und Reward-Gaming sind.

Methodik

Die Autoren schlagen ein fachwissenschaftlich bewusstes adaptives Tutoring-System vor, das die Prompt-Auswahl als Kontextuelle-Banditen-Routing-Problematik formuliert. Das Framework besteht aus drei Kernkomponenten:

1. Input-Repräsentation und Prompt-Raum

• Hybrider Input ($X$): Um eine Repräsentations-Degeneration (Anisotropie) in vortrainierten Embeddings zu mildern, verwendet das System eine duale Pfad-Architektur. Es fusioniert ein 768-dimensionales Themen-Embedding (von einem E5-Encoder) mit einem lernbaren 64-dimensionalen Subject-ID-Embedding. Dies injiziert explizit Fachgrenzen in den latenten Raum.
• Prompt-Pool ($P$): Das System wählt aus einem Pool von 20 distinkten pädagogischen Prompts. Diese Prompts wurden von menschlichen Experten verfasst und mittels LLMs variiert und decken Strategien wie sokratisches Scaffolding, Feynman-Rollenwechsel und empathische Unterstützung ab.

2. Evaluative Score-Kalibrierung ($Y$)

Um das Fehlen unmittelbarer Übungsergebnisse zu adressieren, setzen die Autoren einen LLM-Evaluator (GPT-5-mini) ein, der die instruktionale Effektivität anhand von 14 binären pädagogischen Kriterien dekomponiert, die in der Erziehungstheorie fundiert sind (z. B. Tutor-Scaffolding, Schüler-Neugier, korrekte Antworten innerhalb von 2 Durchgängen).

• Gewichtung: Der Rohwert ist eine gewichtete Summe dieser 14 Merkmale, wobei die Gewichte aus Pearson-Korrelationen mit menschlich gelabelten Lernergebnissen abgeleitet werden.
• Kalibrierung: Um den Sim-to-Real-Gap zu überbrücken, wird eine Sigmoid-Kalibrierungsfunktion auf den Rohwert ($y_{raw}$) angewendet, um die Verteilung des simulierten Feedbacks mit realen empirischen Verteilungen in Einklang zu bringen und so zu verhindern, dass der Router für synthetische Verhaltensweisen überoptimiert.

3. Routing-Architektur und Optimierung

• Actor-Critic-Netzwerk: Der Router verwendet einen Residual-Subject-Injection-Mechanismus. Das Subject-Embedding wird direkt in die finalen Ausgabeschichten injiziert (via Skip-Connections), um eine Verwässerung während tiefer nichtlinearer Transformationen zu verhindern und sicherzustellen, dass fachspezifische Anforderungen die Strategiewahl steuern.
• Training: Das Modell wird mittels Proximal Policy Optimization (PPO) optimiert, angepasst für ein Single-Step-Kontextuelle-Banditen-Setting. Es nutzt Experience Replay und Importance Sampling, um die hohe Latenz von LLM-Umgebungen zu handhaben.
• Deployment-Strategie: Im Live-Betrieb arbeitet das System in zwei Modi: Exploitation (80 % des Traffics, gierige Auswahl der höchstwahrscheinlichen Strategie) und Exploration (20 % des Traffics, gewichtete Stichprobenentnahme zur Gewinnung diverser Trainingsdaten).

Experimentelles Setup

• Simulation: Eine kontrollierte Umgebung mit drei simulierten Schülerprofilen (Motiviert, Mittelmäßig, Unmotiviert) wurde verwendet, um den Router über 16.000 Schritte zu trainieren.
• Real-World A/B-Test: Das System wurde im März und April 2026 mit 359 niederländischen High-School-Schülern (656 Konversationen) eingesetzt.
• Baselines: Vergleiche wurden gegen eine Produktions-Baseline (expertenverfeinerter statischer sokratischer Prompt) und eine Literatur-Baseline (statische Adaption eines vorangegangenen pädagogischen Prompts) durchgeführt.

Zentrale Ergebnisse

1. Simulationsleistung

• Der adaptive Router übertraf beide statischen Baselines in der Simulation signifikant (Mittelwert: 0,694 gegenüber 0,647 und 0,64, $p < 0,001$).
• Der Router eliminierte erfolgreich das „Tail“-Phänomen schlechter Interaktionen (Scores < 0,4), das bei statischen Ansätzen beobachtet wurde.
• Fachliche Ausrichtung: In 8 von 13 evaluierten Fächern erreichte der Router eine perfekte Übereinstimmung mit der empirisch optimalen Strategie. In anderen Fällen war die Regret-Margin minimal (< 0,02).

2. Real-World Deployment

• Instruktionale Effizienz: Der adaptive Router reduzierte die Anzahl der benötigten Turns, um tiefe Interaktionen (Turns $\ge$ 5) zu erreichen, um etwa 3 Turns im Vergleich zur Baseline ($p = 0,007$).
• Strategiewechsel: Der Router passte sich erfolgreich von in der Simulation bevorzugten Strategien (z. B. Feynman/tiefes Denken) zu realweltlich optimalen Strategien (z. B. Coach/Scaffolding) an, was einen erfolgreichen Sim-to-Real-Transfer demonstriert.
• Konversionsraten:
  • Der Exploitation-Router erreichte eine Konversionsrate vergleichbar mit der statischen Baseline (19,1 % vs. 19,6 %).
  • Der Exploration-Router (stochastische Stichprobenentnahme) erreichte eine signifikant höhere Konversionsrate von 28,1 %, was darauf hindeutet, dass Strategiediversität in der frühen Deployment-Phase vorteilhafter sein kann als eine einzelne „optimale“ Policy.
• Score-Validität: Die pädagogischen Scores des LLM-Evaluators waren statistisch prädiktiv für die Übungskonversion (0,599 für Konvertierte vs. 0,560 für Nicht-Konvertierte, $p = 0,037$), was die Proxy-Metrik validiert.

Bedeutung und Ansprüche

Das Paper behauptet zu demonstrieren, dass:

1. Dekomponiertes Feedback robust ist: Die Zerlegung der instruktionalen Effektivität in 14 beobachtbare Kriterien bietet eine zuverlässige, am Menschen ausgerichtete Proxy für den Lernerfolg, selbst in Abwesenheit nachgelagerter Übungsergebnisse.
2. Adaptives Routing funktioniert: Die Formulierung des Tutorings als Prompt-Routing-Problem ermöglicht es dem System, pädagogische Strategien über verschiedene Fächer hinweg zu spezialisieren, wobei es sowohl in der Simulation als auch in realen Settings statische Baselines übertrifft.
3. Sim-to-Real-Transfer erreichbar ist: Durch Score-Kalibrierung und Residual-Subject-Injection kann das System die Lücke zwischen idealisierten Simulationen und realen, verrauschten Interaktionen schließen und Strategien anpassen, um tatsächlichen Schülerbedürfnissen gerecht zu werden (z. B. Wechsel von tiefem Denken zu Scaffolding).

Die Autoren weisen auf Limitationen hin, darunter Datensparsamkeit in Long-Tail-Fächern, die Schwierigkeit, unmittelbaren Wissensgewinn ohne formale Übungen zu messen, sowie die Beschränkung auf einen diskreten Prompt-Pool, der die Generierung neuartiger hybrider Strategien verhindert. Sie schlagen vor, dass zukünftige Arbeiten sich auf Längsschnittstudien, das Ausbalancieren von Domänen-Imbalancen und die Einbeziehung der Konversationshistorie in die Routing-Entscheidung konzentrieren sollten.