🤖 AI

Amortising Bayesian Experimental Design for Sequential Information Gathering in LLMs

Dieses Paper stellt Amortised Sequential Information Gathering (ASIG) vor, eine Fine-Tuning-Methode, die Bayesian Experimental Design in LLM-Policies integriert, um die Effizienz und Erfolgsrate der sequenziellen Informationsbeschaffung bei Aufgaben wie „20 Fragen“ und medizinischer Diagnostik signifikant zu verbessern und gleichzeitig die Inferenzkosten drastisch zu senken.

Ursprüngliche Autoren: Jakob Hartmann, James Harvey, Jhonathan Navott, Erik Y. Wang, Luckeciano C. Melo, Flaviu Cipcigan, Cheng Zhang, Alessandro Abate

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jakob Hartmann, James Harvey, Jhonathan Navott, Erik Y. Wang, Luckeciano C. Melo, Flaviu Cipcigan, Cheng Zhang, Alessandro Abate

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „verlorene“ KI im Gespräch

Stellen Sie sich vor, Sie spielen ein Spiel wie „Wer bin ich?“ (oder „20 Fragen“) mit einem sehr klugen Freund (einem Large Language Model, oder LLM). Sie denken an einen Gegenstand, zum Beispiel „einen Toaster“, und Ihr Freund muss erraten, was es ist, indem er Ja/Nein-Fragen stellt.

Idealerweise sollte Ihr Freund kluge Fragen stellen, die die Möglichkeiten jedes Mal halbieren (z. B. „Wird es in der Küche verwendet?“). Die Arbeit weist jedoch darauf hin, dass aktuelle KI-Modelle oft im Gespräch „verloren gehen“. Sie stellen repetitive Fragen, vergessen, was sie bereits wissen, oder merken nicht, wann sie genug Informationen haben, um eine Vermutung anzustellen. Sie sind gut darin, Fakten zu kennen, aber schlecht darin, zu durchschauen, was als Nächstes zu fragen ist, um etwas Neues zu lernen.

Der alte Weg: Der „Über-Denker“ (Inferenzzeit-Optimierung)

Vor dieser Arbeit versuchten Forscher, dies zu beheben, indem sie die KI dazu brachten, „tiefer nachzudenken“, jedes Mal wenn sie eine Frage stellen musste.

Die Analogie: Stellen Sie sich vor, Ihr Freund hält nach jeder Frage inne, holt ein riesiges Whiteboard heraus, schreibt jeden möglichen Gegenstand der Welt auf, berechnet die Wahrscheinlichkeit für jeden einzelnen und findet mathematisch heraus, welche Frage die meisten Informationen liefern würde.
Das Ergebnis: Das funktioniert gut, ist aber unglaublich langsam und teuer. Es ist, als würde man ein Team von Mathematikern engagieren, um Ihrem Freund bei einer einzigen Frage zu helfen. Die Arbeit nennt dies Bayesian Experimental Design (BED). Obwohl es effektiv ist, ist es für den Echtzeitgebrauch zu schwerfällig.

Die neue Lösung: ASIG (Der „Muskelgedächtnis“-Ansatz)

Die Autoren führen eine neue Methode namens ASIG (Amortised Sequential Information Gathering) ein. Anstatt die KI jedes Mal komplexe Mathematik durchführen zu lassen, wenn sie spricht, bringen sie der KI bei, die Fähigkeit zu erlernen, sodass sie zur zweiten Natur wird.

Die Analogie: Anstatt jedes Mal ein Whiteboard herauszuholen, trainieren Sie Ihren Freund über Wochen hinweg. Sie spielen tausende Runden „Wer bin ich?“ mit ihm. Wenn er eine schlechte Frage stellt, sagen Sie: „Nein, das hilft nicht viel.“ Wenn er eine großartige Frage stellt, die die Optionen eingrenzt, sagen Sie: „Super! Genau das brauchen wir.“
Die Magie: Mit der Zeit braucht Ihr Freund kein Whiteboard mehr. Er entwickelt ein „Muskelgedächtnis“. Er weiß instinktiv, welche Fragen am informativsten sind. Er hat das schwere Denken auf sein Training „amortisiert“ (verteilt), sodass er das Spiel nun schnell und effizient spielen kann, ohne ständig anhalten zu müssen, um zu rechnen.

Wie sie die KI trainiert haben

Die Arbeit beschreibt eine spezifische Trainingsschleife (Abbildung 1 in der Arbeit):

Der Proposer (Vorschlagender): Die trainierte KI (der Fragesteller).
Der Oracle (Orakel): Eine superkluge, eingefrorene KI, die die geheime Antwort kennt und als Spielleiter fungiert.
Das Belohnungssystem: Der Proposer erhält Punkte auf zwei Arten:
- Der „Neugier“-Score (EIG): Hat die Frage die Möglichkeiten gleichmäßig aufgeteilt? (z. B. „Ist es lebendig?“ ist besser als „Ist es ein Toaster?“).
- Der „Erfolgs“-Score: Hat die KI schließlich die richtige Antwort erraten?
Das Training: Sie verwendeten eine Methode namens GRPO (Group Relative Policy Optimization). Stellen Sie sich das wie ein Rennen vor, bei dem die KI gleichzeitig 5 verschiedene Fragen ausprobiert. Diejenige, die die beste Punktzahl erhält, bekommt ein „High Five“, und die KI lernt, diese öfter zu stellen.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies beim Spiel „Wer bin ich?“ und einer medizinischen Diagnosesimulation (MediQ).

Viel besser im Erraten: Beim Spiel „Wer bin ich?“ verdoppelte die trainierte KI (ASIG) ihre Erfolgsquote im Vergleich zum ungetrainierten Basismodell mehr als einmal. Sie wurde besser darin, die richtigen Fragen zu stellen, um die Möglichkeiten schnell einzugrenzen.
Super schnell: Da die KI während des Spiels keine schweren mathematischen Berechnungen durchführen muss, ist sie 25- bis 36-mal schneller als die „Über-Denker“-Methode (BED-LLM). Es ist der Unterschied zwischen einem Sprinter und einem Marathonläufer, der einen Rucksack trägt.
Es funktioniert auch bei Neuem (Generalisierung): Sie testeten die KI bei einer medizinischen Diagnoseaufgabe (MediQ), die sie noch nie zuvor gesehen hatte. Das 7-Milliarden-Parameter-Modell (ein kleineres, effizientes Modell) zeigte, dass es seine „Fragetechniken“ auf die Medizin übertragen konnte – es wurde besser darin, zu wissen, wann es eine Folgefrage stellen und wann es eine Diagnose stellen muss.
Kein „Gehirnschaden“: Entscheidend ist, dass das Training der KI, ein besserer Fragesteller zu sein, sie nicht bei anderen Dingen schlechter gemacht hat. Sie hat nicht vergessen, wie man Gedichte schreibt oder Matheaufgaben löst; sie wurde lediglich besser darin, Informationen zu sammeln.

Das Fazsergebnis

Die Arbeit zeigt, dass man eine KI nicht zwingen muss, in Echtzeit komplexe Mathematik zu betreiben, um sie zu einem guten Ermittler zu machen. Stattdessen kann man sie trainieren, die Strategie des „richtigen Fragens“ zu verinnerlichen. Dies macht die KI schneller, kostengünstiger im Betrieb und ebenso gut (oder sogar besser) darin, die Wahrheit in einem Gespräch zu finden.

Technisches Resümee: Amortisierter Bayesscher Experimentdesign für sequenzielles Informationsgathering in LLMs

Problemstellung

Große Sprachmodelle (LLMs) verfügen über umfangreiches Weltwissen und Denkfähen, haben jedoch häufig Schwierigkeiten mit effektiver Informationsbeschaffung in sequenziellen, Multi-Turn-Entscheidungssituationen. Während LLMs zwar schlussfolgern können, scheitern sie oft daran, zu erkennen, wann zusätzliche Informationen erforderlich sind oder diese Informationen während von Interaktionen effizient zu erwerben. Diese Einschränkung ist in Bereichen wie dem Gesundheitswesen und dem wissenschaftlichen Experimentdesign kritisch, in denen die Aufrechterhaltung kohärenter Überzeugungen über ausgedehnte Interaktionen hinweg essenziell ist.

Bestehende Ansätze zur Verbesserung des Informationsgatherings bei LLMs fallen in zwei Kategorien:

Optimierung zur Inferenzzeit: Methoden wie das Bayessche Experimentdesign (BED) maximieren explizit den Erwarteten Informationsgewinn (Expected Information Gain, EIG) während der Generierung. Obwohl diese Methoden prinzipiengetreu sind, leiden sie unter hohen Rechenkosten durch wiederholtes Sampling und die Aufrechterhaltung von Überzeugungen (Belief Maintenance) sowie sind oft kurzsichtig (myopisch) und erfordern eine aufgabenspezifische Anpassung.
Gewichtsraum-Optimierung: Fine-Tuning-Methoden, die die Modellparameter anpassen. Während diese einen schnellen Inferenzprozess ermöglichen, hatten bisherige Ansätze Schwierigkeiten, über spezifische Trainingsaufgaben hinaus zu generalisieren, oder sie verließen sich auf externe Retriever, um den Zustand der Überzeugung (Belief State) aufrechtzuerhalten, was ihre eigenständige Anwendbarkeit einschränkt.

Die zentrale Herausforderung besteht darin, eine Methode zu entwickeln, die die Rechenkosten des Bayesschen Experimentdesigns in die Gewichte des Modells amortisiert, um ein effizientes, generalisierbares sequenzielles Informationsgathering ohne den schweren Overhead eines expliziten BED zur Inferenzzeit zu ermöglichen.

Methodik: Amortisiertes Sequenzielles Informationsgathering (ASIG)

Die Autoren führen ASIG ein, ein Fine-Tuning-Framework, das das Bayessche Experimentdesign (BED) direkt in die Policy eines LLMs einbettet. Der Ansatz behandelt das LLM als einen sequenziellen BED-Agenten, der iterativ Experimente (z. B. Fragen) auswählt, um die Unsicherheit über ein latentes Ziel zu reduzieren.

Kernkomponenten

Trainingsumgebung: Die Methode wird anhand des 20-Fragen-Spiels instanziiert. Hier stellt das LLM (Proposer) Fragen (experimentelle Designs, $\xi_t$ ) an ein Oracle-LLM (das Zugriff auf das verborgene Ziel $\hat{\theta}$ hat), um das Ziel innerhalb eines Budgets von 20 Runden zu identifizieren. Die binäre Natur der Ergebnisse ("Ja"/"Nein") ermöglicht eine effiziente EIG-Schätzung.
Belohnungssignal: Das Training nutzt ein mehrkomponentiges Belohnungssignal innerhalb eines Group Relative Policy Optimisation (GRPO)-Frameworks:
- Erwarteter Informationsgewinn (EIG): Dieser wird unter Verwendung eines Rao-Blackwellisierten Schätzers berechnet. Das Proposer-LLM sampelt eine Menge plausibler Ziel-Überzeugungen ( $\Theta_t$ ), die konsistent mit der Historie sind, berechnet die Likelihoods $p(y|\theta, \xi)$ für jede dieser Überzeugungen und schätzt die Reduktion der Entropie. Dies liefert dichtes, turn-basiertes Feedback zur Qualität der Fragen.
- Ergebnisbelohnung (Outcome Reward): Eine spärliche (sparse) Belohnung, die auf dem Erfolg der Aufgabe (korrekt erratene Zielidentifikation) und Strafen für nicht-terminale Zustände basiert. Dies fördert zielgerichtetes Verhalten.
Multi-Turn GRPO Erweiterung: Die Autoren erweitern das Standard-GRPO, um mehrere Belohnungsströme mit unterschiedlichen zeitlichen Horizonten zu handhaben.
- Die gesamte Belohnung $R_t$ für einen Rollout kombiniert die EIG-Belohnung (gewichtet durch $\alpha$ , Horizont $E=1$ ) und die Ergebnisbelohnung (gewichtet durch $\beta$ , Horizont $O=3$ ).
- Diese Struktur ermutigt dazu, den Informationsgewinn im unmittelbaren Turn zu maximieren und gleichzeitig die Wahrscheinlichkeit einer korrekten Vermutung innerhalb eines kurzen Horizonts (3 Turns) zu optimieren.
Lern-Curriculum: Um zu verhindern, dass das Modell bestimmte Vermutungen vermeidet, wird ein Curriculum angewandt, bei dem das Modell zuerst ohne die EIG-Belohnung ( $\alpha=0$ ) trainiert wird, um hypothesensuchendes Verhalten zu fördern, gefolgt von der Einführung des EIG-Signals.

Zentrale Beiträge

ASIG-Framework: Eine neuartige Fine-Tuning-Methode, die BED in die LLM-Policies amortisiert und so sequenzielles Informationsgathering ohne zusätzlichen Optimierungsaufwand zur Inferenzzeit ermöglicht.
Erweitertes GRPO: Eine Anpassung von GRPO zur Unterstützung der gemeinsamen Optimierung von Turn-basiertem EIG und Multi-Horizont-Aufgabenerfolg, wobei unterschiedliche Belohnungsströme mit verschiedenen zeitlichen Ausdehnungen gehandhabt werden.
Leistung und Effizienz: Nachweis, dass ASIG die Performance bei der 20-Fragen-Aufgabe erheblich verbessert (Verdopplung der Erfolgsraten für 7B-Modelle) und die Inferenzkosten im Vergleich zu wettbewerbsfähigen Inferenzzeit-Baselines (BED-LLM) um mehr als das 25-fache senkt.
Out-of-Distribution (OOD) Generalisierung: Belege dafür, dass die gelernten informationssuchenden Strategien auf den medizinischen Diagnose-Benchmark MediQ im 7B-Maßstab übertragen werden können, ohne In-Domain-Fine-Tuning, was die klinische Denkgenauigkeit verbessert und Überkonfidenz reduziert.

Ergebnisse

20-Fragen-Aufgabe

Erfolgsrate: Beim 7B-Modell (Qwen2.5-7B-Instruct) mehr als verdoppelt ASIG die Erfolgsrate des Baselines und übertrifft BED-LLM in der Kategorie "Tiere". Beim 14B-Modell verbessert es den Baseline um 4,2 bzw. 1,8 Prozentpunkte in den Kategorien "Tiere" bzw. "Pflanzen".
Verhaltensänderung: ASIG-trainierte Modelle zeigen im Vergleich zu Baselines eine höhere Frequenz von "hypothesensuchenden" Fragen (spezifische Vermutungen) in einem frühen Stadium der Interaktion, insbesondere beim 7B-Modell.
Effizienz: ASIG erreicht die Inferenzlaufzeit des Basis-LLMs, während BED-LLM aufgrund der Notwendigkeit wiederholter Belief-Sampling- und EIG-Maximierung pro Turn 25- bis 36-mal langsamer ist.

Generalisierung auf MediQ

Angewandt auf den MediQ-Benchmark (medizinische Diagnose), verbesserte das 7B ASIG-Modell die Genauigkeit um 0,9 % und die freiwillige Genauigkeit (voluntary accuracy) um 1,7 %, während es die Überkonfidenz-Rate von 36,1 % auf 33,4 % senkte.
Das 14B-Modell zeigte gemischte Ergebnisse, mit minimalen Änderungen in der Genauigkeit und einer leichten Abnahme der freiwilligen Genauigkeit, was darauf hindeutet, dass größere Modelle mit stärkeren Priors weniger adaptive Verhaltensänderungen durch Fine-Tuning benötigen.

Erhalt der Fähigkeiten

Evaluierungen auf Standard-Benchmarks (ARC-Challenge, HellaSwag, MMLU) bestätigten, dass die feinabgestimmten Modelle ihre allgemeinen Sprachfähigkeiten beibehalten und nahezu identische Werte wie die Basismodelle erzielen.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Amortisation von Bayesschem Experimentdesign in LLM-Policies einen praktischen und skalierbaren Ansatz für das Informationsgathering zur Testzeit bietet. Durch die Verlagerung der Rechenlast des Informationsgatherings von der Optimierung zur Inferenzzeit auf die Modellgewichte erreicht ASIG:

Recheneffizienz: Drastische Reduktion der Inferenzlatenz und -kosten, was sequenzielles Informationsgathering für reale Anwendungen, in denen Latenz beschränkt ist, praktikabel macht.
Generalisierbarkeit: Die Fähigkeit, gelernte informationssuchende Strategien auf ungesehene Domänen (z. B. von 20 Fragen auf medizinische Diagnose) zu übertragen, ohne Retraining oder aufgabenspezifisches Tuning zur Inferenzzeit.
Robustheit: Die Methode verbessert die Performance über verschiedene Modellskalen hinweg und erhält die allgemeinen Sprachfähigkeiten aufrecht, wodurch der Trade-off zwischen spezialisiertem Informationsgathering und allgemeiner Argumentation adressiert wird.

Die Autoren positionieren ASIG als einen Schritt, um LLMs zu effektiveren Agenten in sequenziellen Entscheidungsumgebungen zu machen, indem sie das Phänomen des "Lost in Conversation" überwinden und Modelle mit gelernten Strategien für effizientes Belief-Updating und Informationserwerb ausstatten.