Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

Die Studie zeigt, dass elf getestete KI-Tools bei der Klassifizierung des kognitiven Anspruchs mathematischer Aufgaben nur eine durchschnittliche Genauigkeit von 63 % erreichen, wobei sie systematisch zu mittleren Schwierigkeitsstufen neigen und oberflächliche Textmerkmale über tieferliegende kognitive Prozesse stellen.

Das Wesentliche

Titel: Können KI-Tools Lehrer beim Einschätzen von Mathe-Aufgaben helfen? Eine einfache Erklärung

Stellen Sie sich vor, Sie sind ein Lehrer. Sie haben einen Stapel Mathe-Aufgaben vor sich. Ihre Aufgabe ist es, herauszufinden: Ist diese Aufgabe nur „Auswendiglernen" (wie das Einmaleins aufsagen) oder verlangt sie echtes „Denken" (wie ein Detektiv, der einen Fall löst)?

Das ist wichtig, denn Aufgaben, die zum echten Denken anregen, bringen Schüler viel mehr bei als reine Rechenaufgaben. Aber Lehrer haben wenig Zeit. Deshalb wollten die Forscher in dieser Studie herausfinden: Können künstliche Intelligenz (KI)-Tools diese Unterscheidung automatisch und richtig treffen?

Hier ist die Geschichte, was sie getan haben und was sie herausfanden – ganz einfach erklärt.

1. Das Experiment: Der KI-Test

Die Forscher nahmen elf verschiedene KI-Tools (einige sind allgemeine Chats wie ChatGPT, andere sind speziell für Schulen gemacht) und gaben ihnen 12 verschiedene Mathe-Aufgaben.

Die Aufgaben waren in vier Kategorien eingeteilt, wie eine Leiter:

1. Auswendiglernen: Nur Fakten wiederholen (z. B. „Was ist 1/2 in Prozent?").
2. Abläufe ohne Zusammenhang: Rechenschritte abarbeiten, ohne zu verstehen, warum (z. B. „Rechne 3/8 in eine Dezimalzahl um").
3. Abläufe mit Zusammenhang: Rechenschritte nutzen, um ein tieferes Verständnis zu entwickeln.
4. Echtes Mathe machen: Komplexe Probleme lösen, bei denen es keinen festen Weg gibt und man selbst nachdenken muss (z. B. „Entwickle eine Strategie, um ein Problem in der echten Welt zu lösen").

Die KI sollte jede Aufgabe in eine dieser vier Kategorien einordnen.

2. Das Ergebnis: Die KI stolpert oft

Das Ergebnis war ein wenig enttäuschend, aber sehr aufschlussreich.

• Die Durchschnittsleistung: Die KI lag im Durchschnitt nur bei 63 % richtiger Antworten. Das ist besser als rein zufälliges Raten, aber für einen Lehrer, der sich auf die KI verlassen will, viel zu unsicher.
• Spezialisten vs. Allrounder: Man dachte vielleicht, die KI-Tools, die extra für Schulen gebaut wurden, wären besser. Aber nein! Die allgemeinen Chats (wie ChatGPT) waren genauso gut (oder schlecht) wie die Schul-Tools.
• Der „Mittelmaß"-Effekt: Das war das interessanteste Phänomen. Die KI hatte große Angst vor den Extremen.
  • Wenn eine Aufgabe sehr einfach war (nur Auswendiglernen), sagte die KI oft: „Naja, das ist schon etwas mehr als nur Auswendiglernen."
  • Wenn eine Aufgabe sehr schwer war (echtes Denken), sagte die KI: „Das ist doch nur eine normale Rechenaufgabe."
  • Die Metapher: Stellen Sie sich vor, Sie fragen eine KI, ob ein Essen „sehr scharf" oder „sehr mild" ist. Die KI antwortet fast immer: „Es ist ein bisschen scharf." Sie traut sich nicht, die Extreme zu benennen und rutscht immer in die Mitte.

3. Warum macht die KI das? (Die Fehleranalyse)

Die Forscher haben sich genau angesehen, warum die KI falsch lag. Es lag nicht daran, dass sie die Aufgabe nicht lesen konnte. Es lag an ihrer Denkweise:

• Oberflächen-Täuschung: Die KI schaut sich oft nur die Wörter an, nicht den Sinn. Wenn in einer Aufgabe das Wort „Berechnen" oder „Schritt für Schritt" steht, denkt die KI sofort: „Das ist eine einfache Rechenaufgabe." Dabei könnte die Aufgabe dahinter eigentlich sehr komplexes Denken verlangen.
• Der „Detektiv"-Fehler: Bei Aufgaben, die echtes Denken erfordern (wie ein Mathe-Detektiv), verpasst die KI oft den Punkt. Sie sieht die Zahlen und die Formel, aber sie versteht nicht, dass der Schüler hier kreativ sein muss.
• Überzeugende Lügen: Die KI gab oft sehr plausible Erklärungen für ihre falschen Entscheidungen. Das ist gefährlich, denn ein junger Lehrer könnte denken: „Die KI sagt, das ist eine einfache Aufgabe, also ist es eine einfache Aufgabe." Dabei ist die KI nur gut im „Begründen" von Fehlern, nicht im Finden der Wahrheit.

4. Was bedeutet das für Lehrer?

Die Studie sagt uns zwei wichtige Dinge:

1. Noch nicht einsatzbereit: Man kann KI aktuell nicht einfach allein lassen, um Mathe-Aufgaben zu bewerten. Wenn man das tut, wird man viele Fehler machen. Die KI ist wie ein sehr gut ausgebildeter Praktikant, der noch viel zu unsicher ist, um allein zu arbeiten.
2. Ein guter Assistent: Aber die KI ist trotzdem nützlich! Sie kann als Sparringspartner dienen. Ein Lehrer kann sagen: „KI, was denkst du über diese Aufgabe?" und dann selbst prüfen, ob die KI recht hat. Die KI kann helfen, Ideen zu generieren, aber der Lehrer muss das letzte Wort haben.

Fazit

Die KI ist wie ein sehr schneller, aber manchmal etwas oberflächlicher Schüler. Sie kann Texte lesen und Muster erkennen, aber sie versteht die tiefere Bedeutung von mathematischem Denken noch nicht richtig. Sie neigt dazu, alles „normal" zu machen, statt die wirklich einfachen oder wirklich schwierigen Aufgaben zu erkennen.

Für die Zukunft heißt das: Wir müssen die KI besser „erziehen" (durch bessere Fragen und Anweisungen), aber bis dahin bleibt das menschliche Urteil des Lehrers unersetzlich. Die KI ist ein Werkzeug, kein Ersatz für den pädagogischen Blick.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Forschungsartikels auf Deutsch:

Titel: Baseline-Leistung von KI-Tools bei der Klassifizierung der kognitiven Anforderung mathematischer Aufgaben

Autoren: Danielle S. Fox, Brenda L. Robles, Elizabeth DiPietro Brovey, Christian D. Schunn (University of Pittsburgh)

---

1. Problemstellung und Motivation

Lehrkräfte stehen unter zunehmendem Zeitdruck, insbesondere bei der Anpassung hochwertiger Mathematik-Lehrpläne an individuelle Schülerbedürfnisse unter Beibehaltung der kognitiven Rigorosität. Die kognitive Anforderung (Cognitive Demand) mathematischer Aufgaben ist ein entscheidender Faktor für den Lernerfolg: Aufgaben, die tiefes konzeptuelles Verständnis und mathematisches Denken fördern, sind effektiver als solche, die nur auf Auswendiglernen oder rein prozedurales Anwenden abzielen.

Die Identifizierung und Modifikation von Aufgaben, um die richtige kognitive Anforderung zu gewährleisten, erfordert jedoch erhebliche pädagogische Expertise und Zeit. Mit dem Aufkommen von Künstlicher Intelligenz (KI), insbesondere Large Language Models (LLMs), besteht die Hoffnung, diese Arbeitslast zu reduzieren. Bisher fehlt es jedoch an systematischen Erkenntnissen darüber, ob aktuelle KI-Tools in der Lage sind, fundamentale pädagogische Aufgaben wie die genaue Bewertung der kognitiven Anforderung von Unterrichtsmaterialien zu übernehmen.

2. Methodik

Rahmenwerk: Task Analysis Guide (TAG)

Die Studie nutzt den etablierten Task Analysis Guide (Stein & Smith, 1998), der mathematische Aufgaben in vier Kategorien der kognitiven Anforderung unterteilt:

1. Niedrige Anforderung:
   • Auswendiglernen (Memorization): Reproduktion von Fakten/Regeln ohne Konzeptbezug.
   • Verfahren ohne Verbindungen (Procedures without Connections): Algorithmische Anwendung von Verfahren ohne konzeptuelles Verständnis.
2. Hohe Anforderung:
   • Verfahren mit Verbindungen (Procedures with Connections): Nutzung von Verfahren zur Entwicklung eines tieferen konzeptuellen Verständnisses.
   • Mathematik betreiben (Doing Mathematics): Komplexes, nicht-algorithmisches Denken, Selbstüberwachung und Problemlösung ohne vorgegebene Pfade.

Studiendesign

• Aufgabenpool: 12 mathematische Aufgaben (A–L), die zuvor von menschlichen Experten klassifiziert wurden. Jede der vier Kategorien wurde durch drei repräsentative Aufgaben abgedeckt.
• KI-Tools: Es wurden 11 verschiedene KI-Tools getestet:
  • 6 allgemeine Tools (z. B. ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity).
  • 5 bildungsspezifische Tools (z. B. Brisk, Coteach AI, Khanmigo, Magic School, School.AI).
• Prompting-Strategie: Ein „Out-of-the-Box"-Ansatz wurde gewählt. Es wurde ein einheitlicher, einfacher Prompt verwendet, der die Tools anwies, die Aufgabe basierend auf dem hochgeladenen TAG-Rahmenwerk zu klassifizieren und detaillierte Begründungen zu liefern. Kein Prompt-Engineering wurde angewendet, um eine realistische Basisleistung (Baseline) für Lehrkräfte zu ermitteln.
• Auswertung: Die Klassifizierungsergebnisse wurden mit den Expertenurteilen verglichen. Zusätzlich wurde eine Fehleranalyse durchgeführt, bei der die Begründungen der KI auf ihre Übereinstimmung mit den TAG-Kriterien hin analysiert wurden (Skala von 0 bis 3).

3. Wichtige Ergebnisse

Gesamtgenauigkeit

• Die durchschnittliche Klassifizierungsgenauigkeit aller KI-Tools lag bei 63 %.
• Dies liegt deutlich über dem Zufallsniveau (25 %), ist aber weit entfernt von der für den autonomen Einsatz in der Unterrichtsplanung erforderlichen Zuverlässigkeit.
• Kein Tool erreichte eine Genauigkeit von über 83 %.
• Kein signifikanter Unterschied: Bildungsspezifische Tools waren nicht genauer als allgemeine Tools (63 % vs. 61 %). DeepSeek (allgemein) schnitt mit 83 % am besten ab, gefolgt von Coteach (bildungsspezifisch) mit 75 %.

Systematische Verzerrungen und Fehlermuster

1. Bias zur Mitte (Central Tendency Bias): KI-Tools zeigten eine starke Tendenz, Aufgaben in die mittleren Kategorien („Verfahren mit/ohne Verbindungen") zu klassifizieren.
   • Aufgaben an den Extremen (Auswendiglernen und Mathematik betreiben) wurden am häufigsten falsch klassifiziert.
   • Aufgaben der Kategorie „Verfahren ohne Verbindungen" wurden zu 100 % korrekt erkannt.
   • Die Kategorie „Mathematik betreiben" (Doing Mathematics) wurde nur in 27 % der Fälle korrekt identifiziert; die meisten Tools stuften diese fälschlicherweise als „Verfahren mit Verbindungen" ein.
2. Oberflächenmerkmale vs. Kognitive Prozesse: Die Fehleranalyse zeigte, dass KI-Tools Oberflächenmerkmale (z. B. das explizite Wort „Algorithmus" oder „Verfahren") überbewerten, anstatt die zugrunde liegenden kognitiven Prozesse zu analysieren.
   • Beispiel: Aufgaben, die einen realen Kontext hatten, wurden oft als hoch anspruchsvoll eingestuft, auch wenn die Anweisungen einen festen Lösungsweg vorschrieben (niedrige Anforderung). Umgekehrt wurden komplexe Aufgaben, die keine expliziten „offenen" Hinweise enthielten, oft heruntergestuft.
3. Fehlerhafte Begründungen: Selbst wenn die finale Klassifizierung korrekt war, waren die Begründungen der KI oft unvollständig oder inhaltlich fehlerhaft (Durchschnittswerte zwischen 1,0 und 2,0 auf der 3-Punkte-Skala). Die Tools ignorierten relevante Dimensionen oder schlossen sie falsch ab.

4. Hauptbeiträge der Studie

1. Erste systematische Evaluation: Dies ist die erste Studie, die die Fähigkeit von KI-Tools (sowohl allgemein als auch bildungsspezifisch) zur Klassifizierung der kognitiven Anforderung mathematischer Aufgaben unter Verwendung eines validierten pädagogischen Rahmens (TAG) quantitativ bewertet.
2. Nachweis von Grenzen: Die Studie belegt, dass aktuelle KI-Tools für autonome Entscheidungen in der Unterrichtsplanung noch nicht bereit sind. Sie neigen zu systematischen Fehlern, insbesondere bei der Unterscheidung zwischen rein prozeduralen und konzeptuell verknüpften Aufgaben sowie bei der Erkennung von Aufgaben mit extrem hoher kognitiver Anforderung.
3. Unterscheidung nach Tool-Typ: Die Ergebnisse widerlegen die Annahme, dass bildungsspezifische Tools automatisch besser für pädagogische Aufgaben geeignet sind als allgemeine LLMs. Die Leistung variiert stark zwischen den Modellen, unabhängig von ihrer Zielgruppe.
4. Analyse der Fehlerursachen: Durch die detaillierte Fehleranalyse wurde aufgezeigt, dass die Probleme nicht in der Ignoranz relevanter Merkmale liegen, sondern in einer falschen Gewichtung und Interpretation dieser Merkmale durch die KI.

5. Bedeutung und Implikationen

• Entscheidungsunterstützung statt Autonomie: KI-Tools können derzeit nicht als autonome Klassifizierer eingesetzt werden. Ihr Potenzial liegt eher in der Rolle als Entscheidungsunterstützungssystem, das Lehrkräfte bei der Voranalyse von Aufgaben unterstützt, deren Ergebnisse jedoch zwingend von menschlichen Experten überprüft werden müssen.
• Notwendigkeit von Prompt-Engineering: Die getestete „Out-of-the-Box"-Leistung stellt eine untere Grenze dar. Die Forschung deutet darauf hin, dass optimierte Prompts (z. B. Few-Shot-Learning, Chain-of-Thought-Prompting) die Genauigkeit signifikant verbessern könnten.
• Risiko für Lehrkräfte: Da KI-Tools oft plausible, aber inhaltlich fehlerhafte Begründungen liefern, besteht die Gefahr, dass insbesondere unerfahrene Lehrkräfte durch diese Erklärungen in die Irre geführt werden.
• Zukünftige Forschungsrichtungen: Es bedarf weiterer Studien zur Optimierung von Prompts, zur Untersuchung iterativer Feedback-Schleifen zwischen Lehrer und KI sowie zur Entwicklung von Ensemble-Methoden (Kombination mehrerer KI-Tools), um die Zuverlässigkeit zu erhöhen.

Fazit: Während KI-Tools ein gewisses Verständnis für pädagogische Rahmenwerke zeigen, sind ihre aktuellen Fähigkeiten zur Bewertung der kognitiven Anforderung mathematischer Aufgaben noch zu unzuverlässig für den autonomen Einsatz. Die menschliche Expertise bleibt in der Unterrichtsplanung und bei der Anpassung von Lehrplänen unersetzlich.