💻 computer science

Classification Fidelity of Large Language Models on Endodontic Items from the Turkish Dental Specialty Examination

Diese Studie evaluiert die Klassifikationsgüte von vier großen Sprachmodellen bei der Kategorisierung endodontologischer Prüfungsfragen über drei Bildungstaxonomien hinweg und zeigt auf, dass Modelle wie Gemini und DeepSeek zwar eine erhebliche Übereinstimmung für die Bloom- und SOLO-Taxonomien erreichen, jedoch alle Modelle mit der Miller-Pyramide Schwierigkeiten haben, was verdeutlicht, dass die Leistung von LLMs taxonomieabhängig und von der Antwortgenauigkeit verschieden ist.

Ursprüngliche Autoren: Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bilge Hakan Şen, Aslıhan Yekeler, Duygu Kürklü Arpaçay, Jülide Ocak, Oğuzhan Akkoçan

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Fragen zu Zahnarztuntersuchungen (speziell über Wurzelkanalbehandlungen) aus der Türkei, die zwischen 2012 und 2025 verfasst wurden. Sie möchten wissen, ob vier berühmte KI-Chatbots (ChatGPT, Gemini, Kimi und DeepSeek) mehr können, als diese Fragen nur einfach richtig zu beantworten. Sie wollen wissen, ob sie auch das „Schwierigkeitsniveau“ der Frage selbst verstehen können.

Denken Sie an einen Musiklehrer. Ein Schüler kann ein Stück perfekt spielen (die richtige Antwort geben), aber kann er auch sagen, ob es sich um ein einfaches Kinderlied, ein komplexes Jazzstück oder eine volle Sinfonie handelt? Genau das, was diese Studie getestet hat.

Hier ist die Aufschlüsselung der Studie unter Verwendung einfacher Analogien:

1. Die drei „Schwierigkeits-Lineale“

Die Forscher verwendeten drei verschiedene „Lineale“, um zu messen, wie schwer eine Frage ist. Die KI musste jede Frage auf jedem Lineal in die richtige Kategorie einsortieren:

Blooms Taxonomie (Die „Denkleiter“): Diese misst, wie viel Gehirnschmalz benötigt wird.
- Untere Sprossen: Nur Fakten abrufen (wie „Was ist ein Zahn?“).
- Obere Sprossen: Komplexes Denken wie das Analysieren eines Problems oder das Erstellen einer Lösung.
SOLO-Taxonomie (Der „Baustein“-Turm): Diese misst, wie viele Informationsteile man verbinden muss, um zu antworten.
- Kleiner Turm: Man braucht nur einen Fakt.
- Hoher Turm: Man muss viele Fakten verbinden und sehen, wie sie zusammenhängen.
Millers Pyramide (Die „Arzt-Leiter“): Diese misst, ob das Wissen nur im Kopf vorhanden ist oder ob man es tatsächlich tun kann.
- Unten: „Ich kenne die Theorie.“
- Oben: „Ich kann es im echten Leben an einem Patienten anwenden.“

2. Der menschliche „Goldstandard“

Bevor die Forscher die KI fragten, engagierten sie menschliche Experten (Fachzahnärzte und Bildungsprofessoren), um die Fragen zuerst zu sortieren. Dies taten sie sehr sorgfältig, indem sie die Experten schulten, ihre Arbeit prüften und sie debattieren ließen, bis sie sich einig waren. Dies erstellte den „Lösungsschlüssel“ dafür, was die Fragen tatsächlich waren.

3. Das KI-Duell

Die Forscher fütterten die vier KI-Modelle mit denselben 200 Fragen und baten sie, die Fragen unter Verwendung der drei oben genannten Lineale zu sortieren. Sie verglichen dann die Sortierung der KI mit dem menschlichen „Lösungsschlüssel“.

Die Ergebnisse: Wer hat es richtig gemacht?

Die guten Nachrichten (Bloom & SOLO):

Gemini und DeepSeek waren die Musterschüler. Sie waren sehr gut darin, Fragen danach zu sortieren, wie „denklastig“ sie waren (Bloom) und wie viele „Bausteine“ benötigt wurden (SOLO). Sie stimmten am häufigsten mit den menschlichen Experten überein.
ChatGPT und Kimi waren okay, machten aber mehr Fehler. Sie dachten oft, einfache Fragen seien zu schwer oder komplexe Fragen seien zu leicht.

Die schlechten Nachrichten (Millers Pyramide):

Alle hatten hier Schwierigkeiten. Keine KI machte einen guten Job dabei, Fragen danach zu sortieren, ob man sie im „echten Leben“ anwenden kann (Miller).
Die Wendung: Die Rangfolge drehte sich komplett um!
- Gemini und DeepSeek waren am besten bei den „Denk“-Linealen, aber am schlechtesten beim „Echten Leben“-Lineal (Miller).
- ChatGPT war am schlechtesten bei den „Denk“-Linealen, aber am besten (obwohl immer noch nur „befriedigend“) beim „Echten Leben“-Lineal.

Wichtige Erkenntnisse aus der Arbeit

Antworten vs. Verstehen sind unterschiedliche Fähigkeiten: Nur weil eine KI die richtige Antwort auf eine zahnmedizinische Frage geben kann, bedeutet das nicht, dass sie versteht, warum die Frage schwer ist oder welche Art von Denken sie erfordert. Es ist wie ein Taschenrechner, der eine Matheaufgabe lösen kann, aber das Konzept der Algebra nicht versteht.
Einheitsgröße passt nicht für alles: Man kann nicht eine KI für jeden Job verwenden. Wenn Sie prüfen wollen, ob Fragen schwieriger werden (Bloom/SOLO), nutzen Sie Gemini oder DeepSeek. Wenn Sie versuchen wollen zu erraten, ob eine Frage mit der Praxis im echten Leben zusammenhängt (Miller), könnte ChatGPT tatsächlich Ihre beste Wahl sein, obwohl es bei den anderen Aufgaben schlechter abschneidet.
Die Fragen werden schwieriger: Die Studie fand heraus, dass die zahnmedizinischen Prüfungsfragen aus dem Jahr 2025 signifikant komplexer sind und mehr „Denkarbeit“ erfordern als die Fragen aus dem Jahr 2012.
KI wird oben auf der Leiter verwirrt: Alle KIs fanden es viel schwieriger, die sehr schweren Fragen korrekt zu identifizieren (die Analyse oder Bewertung erfordern) als die leichten Fragen (das bloße Erinnern von Fakten).

Was die Arbeit NICHT sagt

Die Arbeit sagt nicht, dass diese KIs dazu verwendet werden sollten, Studenten zu bewerten, Lehrer zu ersetzen oder Patienten zu diagnostizieren. Sie besagt strikt, dass KIs zwar besser darin werden, Fragen nach Schwierigkeit zu sortieren, aber nicht perfekt sind und dass sich ihre Leistung je nach verwendetem „Schwierigkeits-Lineal“ ändert. Sie stellt zudem fest, dass, da die Prüfungsfragen im Laufe der Zeit schwieriger werden, ältere Studien über KI die Intelligenz der KI möglicherweise überschätzt haben.

Technisches Resümee: Klassifikations-Fideltität von Large Language Models bei endodontischen Aufgaben der türkischen Facharztprüfung für Zahnmedizin

Problemstellung
Während Large Language Models (LLMs) zunehmend in der zahnmedizinischen Ausbildung und Bewertung eingesetzt werden, konzentriert sich die bestehende Forschung fast ausschließlich auf die Antwortgenauigkeit (d. h. ob das Modell die richtige Option auswählt). Eine kritische Lücke besteht hinsichtlich der Frage, ob LLMs zuverlässig den kognitiven Anspruch (cognitive demand) von Prüfungsaufgaben identifizieren können. Diese Fähigkeit ist von der korrekten Beantwortung zu unterscheiden und essenziell für die Qualitätssicherung von Prüfungen und das Curriculum-Mapping. Des Weiteren ist unklar, ob LLMs die kognitive Komplexität über mehrere, unterschiedliche Bildungstaxonomien hinweg (Revidierte Bloom-Taxonomie, SOLO und Millers Pyramide) konsistent klassifizieren können oder ob ihre Leistung zwischen Modellen und Frameworks signifikant variiert.

Methodik
Die Studie verwendete ein cross-sektionales Beobachtungsdesign, um die Klassifikations-Fideltität von vier öffentlich zugänglichen LLMs zu evaluieren: ChatGPT (GPT-5.2 Instant), Gemini (3.1 Pro), Kimi (K2.5) und DeepSeek (V3.2).

Datensatz: 200 endodontische Multiple-Choice-Fragen (MCQs) aus der türkischen Facharztprüfung für Zahnmedizin (DUS), die zwischen 212 und 2025 durchgeführt wurden. Die Aufgaben wurden in ihrer ursprünglichen türkischen Sprache präsentiert.
Goldstandard: Ein dreistufiges Expertenkonsensusverfahren etablierte die Grundwahrheit (Ground Truth). Zwei Experten (ein Endodontist und ein Prothetiker mit pädagogischer Expertise) klassifizierten die Aufgaben unabhängig voneinander, gefolgt von einer Kalibrierungsschulung, einem prozeduralen Audit durch einen externen Berater und einer strukturierten gemeinsamen Beratung zur Klärung von Unstimmigkeiten.
Taxonomien: Jede Aufgabe wurde gemäß folgendem Schema klassifiziert:
1. Revidierte Bloom-Taxonomie: Sechs Ebenen (Erinnern bis Erstellen).
2. SOLO-Taxonomie: Fünf Ebenen (Prä-strukturell bis Erweitert-abstrakt).
3. Millers Pyramide: Vier Ebenen (Wissen bis Tun).
Experimentelle Kontrollen: Die LLMs erhielten einen standardisierten Prompt in dedizierten Inkognito-Browser-Sitzungen, um Cross-Session-Memory- und Personalisierungseffekte zu eliminieren. Die Generierungsparameter (z. B. Temperatur) wurden plattformverwaltet und waren nicht modifizierbar.
Statistische Analyse: Die Übereinstimmung wurde mittels gewichteter Cohen's Kappa ( $\kappa_w$ ) mit Bootstrap-95%-Konfidenzintervallen gemessen. Die Klassifikationsleistung wurde mittels Accuracy und Macro-averaged F1-Scores evaluiert. Inter-Modell-Unterschiede wurden mittels Cochran's Q und paarweisen McNemar-Tests mit Holm–Bonferroni-Korrektur getestet.

Kernergebnisse

Framework-abhängige Leistung:
- Bloom-Taxonomie: Gemini ( $\kappa_w = 0,676$ ) und DeepSeek ( $\kappa_w = 0,667$ ) erreichten eine substanzielle Übereinstimmung mit dem Goldstandard. ChatGPT ( $\kappa_w = 0,365$ ) und Kimi ( $\kappa_w = 0,428$ ) erreichten lediglich eine schwache bis moderate Übereinstimmung.
- SOLO-Taxonomie: Gemini führte erneut mit substanzieller Übereinstimmung ( $\kappa_w = 0,622$ ). Die anderen Modelle erreichten eine moderate Übereinstimmung ( $\kappa_w$ -Bereich: 0,433–0,549).
- Millers Pyramide: Die Leistung war über alle Modelle hinweg signifikant schwächer. Die Übereinstimmung überstieg bei keinem Modell das Niveau „fair“ (akzeptabel). ChatGPT schnitt mit $\kappa_w = 0,372$ am besten ab, während Gemini, Kimi und DeepSeek eine „fair“ bis leichte Übereinstimmung zeigten.
Vollständige Ranking-Umkehrung:
Ein bemerkenswerter Befund war die totale Umkehrung der Modell-Rankings zwischen den Frameworks. Modelle, die bei Bloom und SOLO exzellierten (Gemini, DeepSeek), schnitten bei Millers Pyramide schlecht ab. Im Gegensatz dazu erreichte ChatGPT, das bei Bloom und SOLO am schlechtesten abschnitt, die höchste Genauigkeit und Übereinstimmung bei Millers Pyramide.
Trends der kognitiven Ebenen:
- Die Klassifikations-Fideltität sank mit steigender kognitiver Ebene. Alle Modelle klassifizierten Aufgaben niedrigerer Ordnung (Bloom-Ebenen 1–2) mit höherer Fideltität als Aufgaben höherer Ordnung (Ebenen 3–5).
- ChatGPT zeigte einen systematischen Bias, indem es Ebene 2 (Verstehen)-Aufgaben systematisch als Ebene 4 (Analysieren) klassifizierte.
- DeepSeek identifizierte alle fünf Ebene-5-Aufgaben (Evaluieren) korrekt, ordnete jedoch auch anderen Aufgaben die Ebene 5 zu.
- Gemini demonstrierte das ausgewogenste Fehlklassifikationsprofil und war das einzige Modell, das konsistente pro-Level F1-Scores über alle drei SOLO-Ebenen hinweg aufwies.
Zeitliche Trends:
Es wurde eine signifikante positive Korrelation zwischen dem Prüfungsjahr und der Bloom-Ebene des Goldstandards gefunden ( $\rho = 0,301, p < 0,001$ ), was darauf hindeutet, dass die endodontischen Fragen der DUS von 2012 bis 2025 progressiv kognitiv anspruchsvoller geworden sind.

Zentrale Beiträge

Entkopplung von Genauigkeit und Klassifikation: Die Studie zeigt, dass Antwortgenauigkeit und Taxonomie-Klassifikations-Fideltität getrennte Fähigkeiten sind. Ein Modell kann Fragen korrekt beantworten (wie in vorangegangenen Studien für ChatGPT festgestellt), während es gleichzeitig daran scheitert, die kognitive Komplexität dieser Fragen korrekt zu identifizieren.
Nicht-Austauschbarkeit von Taxonomien: Die Ergebnisse liefern empirische Belege dafür, dass Bloom, SOLO und Millers Pyramide unterschiedliche Konstrukte messen. Die Leistung eines LLM in einem Framework sagt nicht seine Leistung in einem anderen voraus; daher können sie nicht als Stellvertreter für die kognitive Anforderung austauschbar verwendet werden.
Leitlinien zur Modellauswahl: Die Studie bietet spezifische Orientierungshilfe für die Auswahl von LLMs basierend auf dem Bewertungszweck: Gemini und DeepSeek sind überlegen für das Mapping der kognitiven Komplexität (Bloom/SOLO), während ChatGPT eine relative Stärke in der Stratifizierung der klinischen Anwendbarkeit (Miller) zeigte, wenngleich die allgemeine Leistung bei Miller schwach blieb.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass LLMs die kognitive Komplexität mit bedeutender Fideltität für die Bloom- und SOLO-Taxonomien klassifizieren können, insbesondere wenn Gemini oder DeepSeek verwendet werden, aber dass diese Fähigkeit nicht über alle Bildungs-Frameworks hinweg einheitlich ist. Die Autoren betonen, dass Millers Pyramide ein herausforderndes Feld für aktuelle LLMs bleibt, in dem kein Modell eine Übereinstimmung über das „fair“-Niveau hinaus erreichte.

Die Studie kommt zu dem Schluss, dass für die Qualitätssicherung von Prüfungen und das Curriculum-Mapping die Auswahl des LLM auf die spezifische Taxonomie und den Zweck abgestimmt sein muss. Zudem deutet der beobachtete Anstieg des kognitiven Anspruchs im Zeitverlauf darauf hin, dass Studien, die auf älteren Aufgabenpools basieren, die aktuelle Klassifikationsleistung von LLMs überschätzen könnten. Schließlich behaupten die Autoren, dass die Klassifikations-Fideltität der Taxonomie unabhängig von der Antwortgenauigkeit evaluiert werden muss, um die Validität KI-gestützter Bildungswerkzeuge zu gewährleisten.