💬 NLP

Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

Die Arbeit stellt Inclusion-of-Thoughts (IoT) vor, eine progressive Selbstfilterstrategie, die die Instabilität von Large Language Models bei Multiple-Choice-Fragen durch das Entfernen irreführender Distraktoren reduziert und so die Entscheidungsstabilität sowie die Interpretierbarkeit des Modells verbessert.

Ursprüngliche Autoren: Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohammad Reza Ghasemi Madani, Soyeon Caren Han, Shuo Yang, Jey Han Lau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du bist ein brillanter Detektiv, der gerade einen schwierigen Fall löst. Du hast alle Beweise vor dir und bist dir zu 99 % sicher, wer der Täter ist. Aber dann kommen fünf verdächtige Zeugen herein, die alle sehr ähnlich aussehen und verwirrende Geschichten erzählen. Plötzlich fängt dein Gehirn an zu zögern. „War es vielleicht doch der zweite Zeuge? Oder der dritte?" Du beginnst, zwischen den richtigen und falschen Antworten hin und her zu springen, obwohl du die Lösung eigentlich schon wusstest.

Genau dieses Problem haben große Sprachmodelle (wie KI-Chatbots) bei Multiple-Choice-Fragen. Sie wissen oft die richtige Antwort, aber die vielen „falschen" Optionen (die sogenannten Ablenkungen) verwirren sie und machen ihre Entscheidung instabil.

Die Forscher aus diesem Papier haben eine Lösung namens IoT (Inclusion-of-Thoughts) entwickelt. Das klingt kompliziert, ist aber im Grunde wie ein cleverer Trick, um den „Lärm" in einem vollen Raum auszuschalten.

Hier ist die Erklärung in einfachen Schritten:

1. Das Problem: Der überfüllte Raum

Stell dir die Multiple-Choice-Frage als einen Raum vor, in dem sich die richtige Antwort und vier falsche Antworten (Ablenkungen) befinden.

Das KI-Problem: Die KI schaut sich alle fünf an. Die falschen Antworten sind so gut formuliert, dass sie die KI verwirren. Die KI denkt: „Hmm, Antwort A ist gut, aber Antwort C klingt auch plausibel." Sie wird nervös und ändert ihre Meinung, obwohl sie eigentlich wusste, dass A richtig ist.

2. Die Lösung: IoT – Der „Filter-Trick"

Die Forscher haben einen dreistufigen Prozess entwickelt, der wie ein Sieb funktioniert, um nur die wichtigsten Dinge durchzulassen.

Schritt 1: Der erste Blick (Die spontane Meinung)
Die KI liest die Frage mit allen Optionen und sagt: „Ich denke, es ist Antwort A." Das ist ihre erste, spontane Idee.
Schritt 2: Der „Was-wäre-wenn"-Test (Der Stresstest)
Jetzt kommt der geniale Teil. Die Forscher nehmen die Antwort A (die die KI gerade gewählt hat) und sagen: „Okay, lass uns tun, als gäbe es Antwort A gar nicht." Sie tauschen sie gegen eine neutrale Option wie „Keine der Antworten" aus.
- Die Frage an die KI: „Wenn Antwort A nicht existiert, was ist dann die beste Wahl?"
- Das Ergebnis: Wenn die KI wirklich sicher ist, wird sie sagen: „Dann gibt es keine gute Antwort" (weil A die einzige richtige war). Wenn sie aber verwirrt ist, wird sie plötzlich sagen: „Oh, dann ist vielleicht Antwort B doch die richtige!" Das zeigt uns, wie unsicher die KI eigentlich ist.
Schritt 3: Das Duell (Der finale Kampf)
Jetzt bauen wir eine neue, sehr kleine Frage. Wir nehmen nur die zwei besten Kandidaten, die die KI in den ersten beiden Schritten genannt hat (z. B. Antwort A und Antwort B).
- Die neue Frage: „Was ist besser: A oder B?"
- Der Vorteil: Da alle anderen verwirrenden Ablenkungen weg sind, muss die KI sich nur auf diesen einen direkten Vergleich konzentrieren. Es ist, als würde man die fünf verdächtigen Zeugen aus dem Raum werfen und nur den echten Täter und den Hauptverdächtigen gegenüberstellen. Die KI kann jetzt klar denken und trifft die richtige Entscheidung.

3. Warum ist das so gut?

Es ist wie ein „Zweitchance"-Geschenk: Die KI bekommt die Möglichkeit, ihre eigene Meinung zu überprüfen, ohne dass sie neu lernen muss.
Es spart Zeit und Geld: Andere Methoden versuchen, die KI hundertmal die Frage zu beantworten und dann die häufigste Antwort zu nehmen (wie eine große Gruppe, die abstimmt). Das kostet viel Rechenleistung. IoT ist schlauer: Es fragt nur ein paar Mal, aber sehr gezielt. Es ist wie ein Scharfschüsse im Vergleich zu einem Artilleriebeschuss.
Es macht die KI ehrlicher: Wenn die KI in Schritt 2 merkt, dass sie sich bei der ersten Antwort geirrt hat, kann sie das korrigieren. Wenn sie sicher ist, stoppt der Prozess sogar früher, um Zeit zu sparen.

Zusammenfassung in einem Bild

Stell dir vor, du suchst den besten Apfel in einem Korb voller Äpfel, aber viele davon sind grün und sehen aus wie rote Äpfel.

Normale KI: Sie starrt auf den ganzen Korb, wird verwirrt von den grünen Äpfeln und greift vielleicht den falschen.
IoT: Die KI nimmt erst den besten Apfel heraus. Dann stellt sie sich vor, dieser Apfel wäre weg. Wenn sie dann immer noch keinen anderen guten Apfel findet, weiß sie: „Aha, der erste war wirklich der beste!" Sie nimmt ihn dann und ignoriert den Rest des Korb-Inhalts.

Das Ergebnis: Die KI wird stabiler, macht weniger Fehler und kann schwierige Fragen besser lösen, ohne dass man sie neu trainieren muss. Es ist ein einfacher, aber genialer Weg, um die „Verwirrung" aus dem Denkprozess der KI zu entfernen.

Titel und Zielsetzung

Das Paper stellt Inclusion-of-Thoughts (IoT) vor, ein neues, leichtgewichtiges Framework zur Verbesserung der Leistung von Large Language Models (LLMs) bei Multiple-Choice-Fragen (MCQs). Der Kern des Ansatzes liegt nicht in der Erweiterung des Reasoning-Raums durch Sampling oder komplexe Suchalgorithmen, sondern in der Stabilisierung der Modellpräferenzen durch die gezielte Reduktion von Ablenkungen (Distraktoren).

Das Problem: Kognitive Last und Präferenzinstabilität

Trotz des Erfolgs von Chain-of-Thought (CoT) Prompting bleiben LLMs anfällig für plausible Distraktoren in MCQs.

Phänomen: Oft enthält das Modell das korrekte Ergebnis bereits in seinen Top-Kandidaten, wechselt jedoch aufgrund von Unsicherheit oder der Anwesenheit ähnlicher, falscher Optionen (Distraktoren) im finalen Schritt zu einer falschen Antwort.
Ursache: Dies wird als Präferenzinstabilität bezeichnet. Das Modell ist in der Lage, die richtige Antwort zu erkennen, aber der Vergleich mit mehreren plausiblen Alternativen führt zu kognitiver Überlastung und oszillierenden Entscheidungen.
Limitationen bestehender Methoden: Herkömmliche Test-time-Methoden wie Self-Consistency (SC) oder Tree-of-Thoughts erfordern oft erhebliche Rechenressourcen (viele Samples, komplexe Suchbäume), um diese Instabilität zu überwinden.

Methodik: Der IoT-Ansatz

IoT ist ein Zero-Shot, unüberwachter Test-time-Ansatz, der in drei Stufen abläuft, um den Entscheidungsraum zu „reinigen" (purify):

Stufe 1: Initiale Präferenz-Elicitation
- Das Modell erhält die ursprüngliche MCQ mit allen Optionen und generiert eine Antwort mittels Standard-CoT.
- Ergebnis: Der Top-Kandidat $o^*_1$ .
Stufe 2: Zweite Plausibilitätsbewertung (Perturbation)
- Die ursprüngliche Top-Option $o^*_1$ wird aus dem Optionsset entfernt und durch einen neutralen Platzhalter („none of the options") ersetzt.
- Das Modell wird erneut auf diese modifizierte Frage angewiesen.
- Ziel: Wenn $o^*_1$ robust korrekt ist, sollte das Modell den Platzhalter wählen. Wählt es jedoch eine andere Option $o^*_2$ , deutet dies auf eine Instabilität hin, bei der das Modell zwischen $o^*_1$ und $o^*_2$ schwankt.
Stufe 3: Eingegrenzte finale Inferenz
- Es wird eine reduzierte MCQ konstruiert, die nur die beiden plausibelsten Kandidaten ( $o^*_1$ und $o^*_2$ ) enthält.
- Das Modell trifft eine finale Entscheidung in diesem kontrollierten, ablenkungsfreien Umfeld.
- Frühzeitiges Stoppen (Early Stopping): Wenn das Modell in Stufe 2 den Platzhalter wählt, wird angenommen, dass $o^*_1$ stabil ist. Der Prozess wird sofort beendet, und Stufe 3 wird übersprungen, um Rechenkosten zu sparen.

Unterschied zu ähnlichen Methoden: Im Gegensatz zu „Exclusion-of-Thoughts" (EoT), das schrittweise unwahrscheinliche Optionen eliminiert, testet IoT die Stabilität der Top-Option durch deren temporäre Entfernung (Counterfactual Perturbation).

Wesentliche Beiträge

Neues Framework (IoT): Ein rechnerisch effizientes, Zero-Shot-Verfahren, das die MCQ-Leistung verbessert, indem es die Top-Kandidaten isoliert und vergleicht, anstatt den Suchraum zu erweitern.
Neue Perspektive: Die Identifizierung von Präferenzinstabilität als primäre Fehlerquelle bei MCQs, anstatt von fehlendem Wissen oder unzureichenden Reasoning-Schritten.
Diagnostische Analyse: Ein transitionsbasierter Analyseansatz (z. B. TTT, FTT, TFF), der aufzeigt, wann und warum korrekte Zwischenentscheidungen in falsche Endantworten umschlagen. Dies dient auch zur Diagnose von mehrdeutigen Datensatz-Labels.
Empirische Validierung: Umfassende Experimente über verschiedene Domänen (Mathematik, Common Sense, Bildung) und Modellgrößen.

Ergebnisse

Die Evaluierung erfolgte an Modellen wie Olmo-2-7B/13B, Llama-3.3-8B und GPT-4o-mini auf Benchmarks wie OBQA, CSQA, ARC, MMLU, GSM8K-MC und AQuA.

Leistungssteigerung: IoT übertrifft konsistent Standard-CoT und erreicht oft State-of-the-Art-Ergebnisse.
- Beispiel (Olmo-2-7B): +3,40 % auf OBQA, +3,95 % auf GSM8K-MC, +3,33 % auf ARC.
- Der durchschnittliche Genauigkeitsgewinn gegenüber CoT beträgt ca. 1,64 % bis 2,5 % über alle Modelle hinweg.
Rechenkosten: IoT ist deutlich effizienter als Self-Consistency (SC).
- IoT generiert ca. 2,2-fache Token im Vergleich zu CoT.
- SC generiert ca. 4,6-fache Token.
- Durch den Early-Stopping-Mechanismus werden Kosten gespart, wenn die Präferenz bereits stabil ist.
Robustheit: IoT reduziert die Empfindlichkeit gegenüber der Reihenfolge der Optionen (Positional Bias) signifikant und liefert stabilere Ergebnisse bei gemischten Optionen.
Kombination: Die Kombination von IoT mit SC (IoT+SC) führt zu weiteren marginalen Verbesserungen, ist jedoch rechenintensiver.

Bedeutung und Fazit

Das Paper zeigt, dass die Verbesserung von LLM-Reasoning nicht zwingend durch komplexere Suchalgorithmen oder mehr Rechenleistung erreicht werden muss, sondern durch die Strukturierung des Entscheidungsprozesses.

Interpretierbarkeit: IoT macht den Entscheidungsprozess transparenter, indem es dokumentiert, wie das Modell zwischen Top-Kandidaten schwankt.
Skalierbarkeit: Da es keine Feinabstimmung (Fine-Tuning) oder zusätzliche Annotationen erfordert, ist es sofort auf jedes vortrainierte Modell anwendbar.
Diagnostik: Das Framework fungiert als Werkzeug, um Datensatzqualität zu prüfen (z. B. Erkennung von mehrdeutigen Fragen oder falschen Ground-Truth-Labels).

Zusammenfassend bietet IoT einen kosteneffizienten Weg, um die inhärente Instabilität von LLMs bei Multiple-Choice-Aufgaben zu überwinden, indem es den Fokus des Modells von einer überladenen Auswahl auf die zwei wahrscheinlichsten Kandidaten lenkt.