Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options
Die vorgestellte Studie schlägt ein Evaluierungsprotokoll mit bis zu hundert Antwortoptionen vor, um die Zuverlässigkeit von Large Language Models unter extremem Ablenkungsdruck zu testen und zeigt, dass konventionelle Benchmarks mit wenigen Optionen die wahre Kompetenz der Modelle oft überschätzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie testen das Wissen eines Schülers in einem Quiz.
Das alte Problem: Der "Vier-Finger-Trick"
Bisher wurden große Sprach-KIs (wie ChatGPT oder Gemini) meist mit Multiple-Choice-Fragen getestet, die nur vier oder fünf Antwortmöglichkeiten hatten.
Das ist wie ein Quiz, bei dem man nur vier Tassen vor sich hat und eine davon enthält den richtigen Kaffee. Selbst wenn der Schüler den Kaffee gar nicht kennt, hat er eine 25-prozentige Chance, einfach durch Raten zu gewinnen.
Die Forscher in diesem Papier sagen: "Das täuscht uns!" Viele KIs lernen nicht wirklich, die richtige Antwort zu finden, sondern sie nutzen Abkürzungen. Sie raten einfach die erste Option, oder sie schließen zwei offensichtlich falsche Antworten aus und hoffen auf Glück. Das Ergebnis? Die KIs sehen viel schlauer aus, als sie eigentlich sind.
Die neue Lösung: Das "100-Tassen-Chaos"
Die Autoren (Nahyun Lee und Guijin Son) haben eine neue Art des Tests erfunden: Statt 4 Optionen gibt es jetzt 100.
Stellen Sie sich vor, Sie stehen vor einem riesigen Regal mit 100 identisch aussehenden Tassen. Nur eine davon enthält den richtigen Kaffee. Alle anderen sind leer oder enthalten Tee.
- Der Zufallsfaktor: Wenn Sie jetzt raten, haben Sie nur noch eine 1-prozentige Chance (statt 25 %).
- Der Test: Die KI muss nun wirklich wissen, welche Tasse die richtige ist. Sie kann nicht mehr einfach raten oder die ersten paar Tassen durchgehen. Sie muss sich durch das ganze Chaos arbeiten.
Das Experiment: Koreanische Rechtschreibung
Um diesen Test durchzuführen, haben die Forscher eine spezielle Aufgabe gewählt: Sie müssen einen einzigen Rechtschreibfehler in einem Satz finden.
- Die Aufgabe: Es gibt 30 verschiedene Sätze. In jedem Satz ist genau ein Wort falsch geschrieben (z. B. ein Leerzeichen an der falschen Stelle).
- Die Herausforderung: Die KI muss diesen einen Fehler aus 99 anderen, perfekt korrekten Sätzen heraussuchen. Das ist wie die Suche nach einer Nadel im Heuhaufen, nur dass der Heuhaufen aus 99 anderen Nadeln besteht, die fast genauso aussehen.
Was sie herausfanden: Die "Blase" platzt
Die Ergebnisse waren überraschend und ein wenig beunruhigend für die KI-Industrie:
- Die Illusion: Bei den alten Tests mit nur 4 Optionen schafften fast alle KIs eine fast perfekte Punktzahl (nahe 100 %). Sie wirkten wie Genies.
- Die Realität: Als sie auf 100 Optionen hochskaliert wurden, brach die Leistung vieler KIs dramatisch ein.
- Ein Modell namens HyperCLOVAX-Think fiel von fast 100 % auf nur noch 20 %.
- Ein anderes Modell (EXAONE) fiel von 99 % auf 14 %.
- Nur die allerstärksten Modelle (wie Gemini) blieben stabil, aber auch sie wurden schwächer.
Warum scheitern sie? Der "Erste-Tür-Trick"
Die Forscher fanden heraus, dass die KIs, wenn sie unter Druck stehen (bei 100 Optionen), in Panik geraten. Anstatt den Text wirklich zu lesen, greifen sie auf einen primitiven Trick zurück: Sie wählen einfach die ersten paar Antworten aus.
Stellen Sie sich vor, Sie sind in einem riesigen Supermarkt und suchen eine spezielle Zutat. Wenn Sie sie nicht finden, gehen Sie einfach zum ersten Regal und nehmen das Erste, das aussieht, als könnte es passen. Die KIs tun genau das: Sie ignorieren den Inhalt und wählen blindlings die Optionen 1 bis 10 aus. Das nennt man "Positionsbias" (Voreingenommenheit für die Position).
Ist es nur wegen der Länge?
Man könnte denken: "Vielleicht ist es nur, weil der Text so lang ist und die KI den Überblick verliert?"
Die Forscher haben das getestet, indem sie den Text künstlich verlängert haben (mit sinnlosem Text gefüllt), ohne die Anzahl der Optionen zu ändern. Das Ergebnis: Die Länge war nicht das Hauptproblem. Das Problem war die Dichte der Ablenkung. Es ist nicht schwer, einen langen Text zu lesen; es ist schwer, eine richtige Antwort aus hundert sehr ähnlichen, falschen Antworten zu finden.
Die große Lehre
Dieses Papier ist wie ein Spiegel für die KI-Welt. Es zeigt uns:
- Unsere bisherigen Tests (mit 4 Optionen) sind zu leicht. Sie messen nicht echtes Wissen, sondern nur, wie gut eine KI raten oder Tricks anwenden kann.
- Um zu sehen, ob eine KI wirklich "denkt", müssen wir sie in Situationen bringen, in denen sie sich durch eine Flut von Ablenkungen kämpfen muss.
- Viele KIs, die wir für sehr intelligent halten, sind eigentlich nur gut darin, sich in kleinen Räumen zurechtzufinden. Sobald der Raum riesig wird und voller Fallen steckt, verlieren sie den Verstand.
Zusammenfassend:
Die Autoren sagen: "Hören Sie auf, KIs mit leichten Quizzen zu testen, bei denen sie durch Raten gewinnen können. Stellen Sie sie stattdessen vor das Regal mit 100 Tassen. Nur dann sehen wir, wer wirklich Kaffee und wer nur Tee serviert."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.