Temporal Stability and Few-Shot Prompting in Math Task Assessment

Stellen Sie sich vor, Sie stellen zwei verschiedene „KI-Lehrassistenten" ein, um Ihnen zu helfen, einen Stapel Mathematik-Hausaufgaben zu sortieren. Ihr Ziel ist es, sie in zwei Stapel zu trennen: „Einfache, routinemäßige Übungen" und „Schwere, denkintensive Herausforderungen". Sie geben ihnen ein Regelbuch (die sogenannte Task Analysis Guide), das ihnen bei der Entscheidung hilft.

Diese Studie ist wie eine langfristige Gesundheitsuntersuchung dieser beiden Assistenten, um zu sehen, ob sie im Laufe der Zeit konsistent bleiben und ob es ihnen hilft, einen besseren Job zu machen, wenn man ihnen einen „Spickzettel" mit Beispielen gibt.

Hier ist, was passiert ist, einfach erklärt:

Die beiden Assistenten

Die Forscher testeten zwei verschiedene KI-Tools:

1. Gemini: Ein „allgemein verwendbarer" Assistent. Denken Sie an eine sehr kluge, gut informierte Bibliothekarin, die ein wenig über alles weiß, einschließlich Mathematik.
2. Coteach: Ein „bildungsspezifischer" Assistent. Denken Sie an einen erfahrenen Mathematiklehrer, der jahrelang Arbeiten korrigiert hat und die spezifischen Eigenheiten des Schulmathematikunterrichts kennt.

Teil 1: Der „Zeitreise"-Test (Temporale Stabilität)

Die Forscher baten beide Assistenten, die Mathematikaufgaben am Tag 1 zu sortieren. Dann warteten sie sieben Wochen und baten sie, genau dieselben Probleme erneut zu sortieren.

In der realen Welt passieren Software-Updates ständig. Es ist, als ob Ihr Lieblingsspiel ein Patch-Update erhalten würde; manchmal wird das Spiel besser, aber manchmal bewegt sich ein Charakter, den Sie mochten, plötzlich anders oder wird schwächer.

• Was passierte mit dem allgemeinen Assistenten (Gemini)?
  Seine Gesamtpunktzahl blieb genau gleich (58 % korrekt). Wenn man jedoch genauer hinsah, hatte er seine Meinung zu bestimmten Problemen geändert. Er bekam drei neue Probleme richtig, die er zuvor verpasst hatte, aber er bekam drei alte Probleme falsch, die er zuvor gelöst hatte.

  • Die Analogie: Stellen Sie sich einen Richter vor, der Ihnen im Durchschnitt dasselbe Urteil gibt, aber austauscht, welche spezifischen Verbrechen mit der Todesstrafe und welche mit lebenslanger Haft geahndet werden. Der „Durchschnitt" sieht gleich aus, aber das spezifische Ergebnis für Ihren Fall hat sich unvorhersehbar geändert. Dies nennt man „Prompt-Drift".

• Was passierte mit dem Lehrassistenten (Coteach)?
  Dieser wurde schlechter. Seine Punktzahl sank signifikant von 75 % korrekt auf 50 %.

  • Die Analogie: Stellen Sie sich einen erfahrenen Lehrer vor, der plötzlich beginnt, zu vergessen, wie man grundlegende Tests korrigiert. Er hat nicht nur seine Antworten ausgetauscht; er hat tatsächlich einen Teil seiner Fähigkeit verloren, den Job korrekt zu erledigen.

Die große Erkenntnis: Nur weil ein KI-Tool eine „neue Version" erhält oder im Hintergrund Updates bekommt, bedeutet das nicht, dass es bei Ihrer spezifischen Aufgabe besser wird. Manchmal bleibt es gleich, verhält sich aber anders, und manchmal wird es tatsächlich schlechter.

Teil 2: Der „Spickzettel"-Test (Few-Shot Prompting)

Nach der siebenwöchigen Wartezeit versuchten die Forscher einen neuen Trick. Statt die Assistenten einfach nur die Probleme sortieren zu lassen, gaben sie ihnen einen „Spickzettel". Dieses Blatt zeigte ihnen zwei perfekte Beispiele für ein „einfaches" Problem und zwei perfekte Beispiele für ein „schwieriges" Problem, zusammen mit den korrekten Bezeichnungen für jedes.

Dies nennt man Few-Shot Prompting. Es ist, als würde man zu einem neuen Mitarbeiter sagen: „Hier ist ein Muster für einen guten Bericht und ein Muster für einen schlechten Bericht. Sortieren Sie nun diesen neuen Stapel wie diese."

• Die Ergebnisse:
  • Gemini (Die Bibliothekarin): Wurde besser! Ihre Punktzahl stieg von 58 % auf 67 %.
  • Coteach (Der Lehrer): Wurde viel besser! Er erholte sich von seiner niedrigen Punktzahl von 50 % ganz hinauf auf 75 % und kehrte auf sein ursprüngliches „Experten"-Niveau zurück.

Die große Erkenntnis: Dem KI-System ein paar klare Beispiele (den Spickzettel) zu geben, half ihm, besser zu performen, als darauf zu warten, dass das Softwareunternehmen eine neue Version veröffentlicht. Tatsächlich korrigierte der „Spickzettel" die Fehler des Lehrassistenten vollständig.

Das Problem mit den „schwierigen Dingen"

Es gab einen Haken. Die KI-Tools waren hervorragend darin, die „einfachen" routinemäßigen Probleme zu sortieren. Aber sie hatten große Schwierigkeiten mit den „schweren, denkintensiven" Problemen (die als „Mathematik betreiben" bezeichnet werden).

Selbst mit dem Spickzettel klassifizierte die KI die schwierigsten Probleme weiterhin falsch.

• Die Analogie: Es ist wie ein Schüler, der großartig darin ist, Multiplikationstabellen auswendig zu lernen, aber verwirrt wird, wenn man ihn auffordert, ein Textproblem zu lösen, das erfordert, dass er eine neue Denkweise erfindet. Die KI neigt dazu, auf die Oberflächenwörter zu schauen (wie „berechnen" oder „Rechnung zeigen"), anstatt das tiefe Denken zu verstehen, das erforderlich ist. Sie versucht, einen Abkürzungsweg zu finden, anstatt die harte geistige Arbeit zu leisten.

Zusammenfassung der Behauptungen des Papiers

1. KI ist instabil: Selbst über einen kurzen Zeitraum (7 Wochen) können KI-Tools ändern, wie sie Fragen beantworten, manchmal schlechter werden, manchmal einfach nur unvorhersehbar handeln.
2. Updates sind kein Zauber: Neuere Versionen von KI bedeuten nicht automatisch eine bessere Leistung bei spezifischen Schulaufgaben.
3. Beispiele helfen: Dem KI-System ein paar klare Beispiele zu geben (Few-Shot Prompting) ist eine kraftvolle Methode, um Fehler zu beheben und die Genauigkeit zu verbessern, oft effektiver als das Warten auf Software-Updates.
4. Spezialisierte Tools brauchen Hilfe: Das bildungsspezifische Tool (Coteach) war empfindlicher gegenüber Änderungen (es wurde schneller schlechter), reagierte aber auch besser auf den „Spickzettel" als das allgemeine Tool.
5. Schweres Denken ist immer noch schwer: KI hat immer noch Schwierigkeiten, die komplexesten Mathematikaufgaben zu identifizieren, verwechselt sie oft mit einfacheren, selbst wenn Beispiele gegeben werden.

Das Papier kommt zu dem Schluss, dass Sie als Lehrer oder Forscher, der KI verwendet, sich nicht einfach darauf verlassen sollten, dass das Tool „neu" ist. Sie müssen aktiv prüfen, ob es immer noch richtig funktioniert, und bereit sein, ihm klare Beispiele zu geben, um sein Denken zu lenken.