💬 NLP

Predicting Decisions of AI Agents from Limited Interaction through Text-Tabular Modeling

Dieser Artikel schlägt einen zieladaptiven Modellierungsrahmen für Text-Tabellendaten vor, der verborgene Repräsentationen aus einem eingefrorenen „LLM als Beobachter" nutzt, um die Entscheidungen unbekannter KI-Verhandlungspartner aus einer begrenzten Interaktionsgeschichte effektiv vorherzusagen und dabei direkte Prompting-Verfahren sowie Standard-Baselines auf Merkmalsbasis zu übertreffen.

Ursprüngliche Autoren: Eilam Shapira, Moshe Tennenholtz, Roi Reichart

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eilam Shapira, Moshe Tennenholtz, Roi Reichart

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten einen geschäftigen Marktplatz, auf dem alle versuchen, Dinge zu verkaufen oder zu kaufen, aber die Personen, mit denen Sie sprechen, sind tatsächlich Roboter. Sie kennen ihren Code, ihre geheimen Anweisungen oder nicht, welche Art von „Gehirn" sie im Inneren haben. Sie sehen nur, was sie sagen und was sie anbieten.

Die große Frage, die diese Arbeit stellt, lautet: Können Sie herausfinden, was ein Roboter als Nächstes tun wird, indem Sie nur beobachten, wie er ein paar Geschäfte abschließt?

Hier ist eine einfache Aufschlüsselung, wie die Forscher versucht haben, dies zu lösen, unter Verwendung einiger alltäglicher Analogien.

Das Problem: Der „Black-Box"-Käufer

In der realen Welt werden KI-Agenten (wie Einkaufsbots) immer häufiger. Sie verhandeln miteinander über Preise. Doch ihre interne Logik ist eine „Black Box". Man kann nicht hineinschauen, um ihren Code zu sehen.

Die Herausforderung: Wenn Sie auf einen neuen Roboter-Verkäufer treffen, können Sie vorhersagen, ob er Ihren Preis akzeptieren oder ein Gegenangebot machen wird, nur indem Sie sehen, wie er ein paar Mal zuvor mit anderen Personen verhandelt hat?

Die Lösung: Ein „Text-Tabellarischer" Detektiv

Die Forscher bauten ein System, das als Detektiv fungiert. Anstatt eine riesige, leistungsstarke KI zu bitten, die Antwort zu „raten" (was sie als LLM-as-Predictor bezeichnen), behandelten sie das Problem wie ein Lückentext-Rätsel unter Verwendung einer Tabelle.

Stellen Sie es sich so vor:

Die Tabelle (Das Tabellenblatt): Jedes Mal, wenn ein Roboter eine Entscheidung trifft, ist dies wie eine Zeile in einer Tabelle. Diese Zeile enthält:
- Die Spielstatistiken: Die Rundennummer, der aktuelle Preis, die verbleibende Zeit.
- Das Chat-Protokoll: Die Textnachrichten, die die Roboter ausgetauscht haben.
- Der „Beobachter"-Hinweis: Ein spezielles neues Merkmal (siehe unten erklärt).
Die Anpassung (Die „K"-Spiele): Bevor der Detektiv versucht, den Zug des neuen Roboters vorherzusagen, wird ihm K (eine kleine Zahl, wie 2, 8 oder 16) vergangene Spiele gezeigt, in denen genau dieser Roboter gespielt hat. Diese dienen als „Lernhilfen", um die Persönlichkeit dieses spezifischen Roboters zu erlernen.

Die Geheimwaffe: Der „Beobachter"

Dies ist die kreativste Idee der Arbeit. Normalerweise fragt man eine KI, wenn man eine Situation verstehen möchte, „Was wird passieren?", und sie gibt eine Antwort.

Die Forscher machten etwas anderes. Sie benutzten eine kleine, eingefrorene KI (den Beobachter), um die Situation und den Chat zu lesen, aber sie verworfen ihre Antwort.

Die Metapher: Stellen Sie sich einen Detektiv (den Beobachter) vor, der einen Tatort untersucht. Anstatt einen Bericht zu schreiben, in dem es heißt „Der Butler hat es getan", bekommt der Detektiv nur ein plötzliches Gefühl oder eine Bauchgefühls-Intuition über die Szene. Die Forscher nahmen dieses „Bauchgefühl" (den internen versteckten Zustand der KI) und verwendeten es als Hinweis in ihrer Tabelle.
Warum es funktioniert: Die Arbeit ergab, dass das „Bauchgefühl" der KI verborgene Signale enthielt, wie sich der Roboter verhalten würde, die die tatsächlichen gesprochenen Worte der KI verpassten. Es ist wie zu wissen, dass jemand nervös ist, an seiner Körperhaltung, auch wenn er sagt „Mir geht es gut".

Das Experiment: Zwei Gruppen von Robotern

Um dies zu testen, verwendeten sie zwei Gruppen von Robotern:

Die „Quellen"-Gruppe (Die Trainingsklasse): 13 Roboter, die von führenden Technologieunternehmen (wie Google, OpenAI usw.) erstellt wurden. Sie alle verwendeten dieselben Anweisungen, hatten aber unterschiedliche „Gehirne". Das System lernte von ihnen.
Die „Ziel"-Gruppe (Die Testklasse): 91 Roboter, die von Studenten in einem Hackathon gebaut wurden. Diese Studenten verwendeten alle dasselbe „Gehirn", bauten aber unterschiedliche „Körper" (unterschiedliche Regeln und Prompts).

Das System musste von der „Quellen"-Gruppe lernen und dann die Züge der völlig neuen „Ziel"-Gruppe vorhersagen.

Die Ergebnisse: Die Tabelle gewinnt

Die Forscher verglichen drei Methoden:

Direktes Raten: Eine riesige KI zu fragen: „Hier ist der Chatverlauf und die vergangenen Spiele des Roboters; was wird es als Nächstes tun?"
Einfache Tabelle: Verwendung der Spielstatistiken und Chat-Protokolle in einem Tabellenmodell.
Der volle Detektiv (Ihre Methode): Das Tabellenmodell + das „Bauchgefühl" des „Beobachters".

Der Gewinner: Die Methode des vollen Detektivs gewann.

Sie war besser darin, vorherzusagen, ob ein Roboter „Ja" oder „Nein" sagen würde (Akzeptieren/Ablehnen).
Sie war besser darin, vorherzusagen, welchen Preis der Roboter als Nächstes anbieten würde.
Entscheidend: Das verborgene Gefühl des „Beobachters" fügte etwa 4 % mehr Genauigkeit hinzu als die alleinige Verwendung von Chat-Protokollen und Spielstatistiken.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass man, wenn man versucht vorherzusagen, was eine fremde KI als Nächstes tun wird, nicht einfach eine riesige KI bitten sollte, zu raten. Stattdessen sollte man:

Die Situation in eine strukturierte Datenzeile umwandeln (Statistiken + Chat).
Eine kleine KI nur verwenden, um die Situation zu „lesen" und ihren internen „Vibe" (versteckten Zustand) zu extrahieren.
Diesen Vibe in ein intelligentes Tabellenmodell einspeisen, das aus vergangenen Beispielen lernt.

Dieser Ansatz ist kostengünstiger, genauer und besser darin, sich an neue, unbekannte Roboter anzupassen, als einfach eine große KI zu bitten, direkt darüber nachzudenken.

Technische Zusammenfassung: Vorhersage von Entscheidungen KI-basierter Agenten aus begrenzten Interaktionen durch text-tabulare Modellierung

Problemformulierung
Der Beitrag adressiert die Herausforderung, die nächste Entscheidung eines unbekannten, sprachbasierten KI-Agenten (des „Zielagenten") allein auf Basis einer begrenzten Anzahl vorheriger Interaktionsverläufe ( $K$ Spiele) vorherzusagen. In Szenarien wie automatisierter Verhandlung oder Beschaffung sind das zugrundeliegende Large Language Model (LLM), die Systemprompts, die Steuerlogik und regelbasierte Fallback-Mechanismen des Zielagenten verborgen. Jeder Entscheidungspunkt umfasst eine Mischung aus strukturierten Spielzuständen (Angebote, Rundennummern, Auszahlungen) und freiem Textdialog. Die Autoren formulieren dies als zieladaptives text-tabulares Vorhersageproblem. Das Ziel ist die Vorhersage zweier komplementärer Aufgaben:

Antwortvorhersage: Eine binäre Klassifikationsaufgabe, die bestimmt, ob der Zielagent ein aktuelles Angebot annimmt oder ablehnt.
Vorschlagsvorhersage: Eine Regressionsaufgabe, die den Wert des nächsten Angebots schätzt, das der Zielagent unterbreiten wird.

Das Setting erfordert die Anpassung an einen neuen Agenten ohne Zugriff auf dessen internen Code oder Prompts, wobei sich ausschließlich auf $K$ gelabelte Beispiele seines früheren Verhaltens und eine große Quellpopulation zuvor beobachteter Agenten verlassen wird.

Methodik
Der vorgeschlagene Ansatz weicht von direktem „LLM-as-Predictor"-Prompting ab (bei dem ein großes LLM aufgefordert wird, den nächsten Zug direkt vorherzusagen). Stattdessen setzen die Autoren ein text-tabulares Fundamentmodell (TabPFN) ein, das auf einer multimodalen Repräsentation des Entscheidungspunkts konditioniert. Die Kernkomponenten sind:

Feature-Modalitäten: Jeder Entscheidungspunkt wird als einzelne Tabellenzeile dargestellt, die drei Feature-Blöcke kombiniert:
- Spielzustands-Features: Strukturierte Variablen, einschließlich Konfigurationsparametern (z. B. Diskontfaktoren, Bewertungen), Rundenindex, aktuellen und historischen Angeboten sowie Entscheidungshistorie.
- Dialogrepräsentation: Generische semantische Embeddings des Konversationsverlaufs, codiert über einen Sentence Transformer (z. B. all-MiniLM-L6-v2) und mittels PCA reduziert.
- Beobachterrepräsentation (LLM-as-Observer): Ein neuartiger Feature-Block, bei dem ein kleines, eingefrorenes LLM (z. B. Gemma-2-2B, Qwen3-1.7B) den öffentlichen Entscheidungszeitpunkt-Zustand und den Dialog liest. Entscheidend ist, dass die direkte Ausgabe des LLM (seine vorhergesagte Entscheidung) verworfen wird. Stattdessen werden seine versteckten Zustände (speziell aus den oberen Stack-Schichten, relative Tiefe 0,6–0,9) extrahiert und als hochdimensionaler Feature-Vektor verwendet. Dies behandelt das LLM als Encoder entscheidungsrelevanter Signale anstelle eines direkten Vorhersagers.
Zieladaptives Lernen: Das TabPFN-Modell wird auf einer Quellpopulation von Agenten (13 Frontier-LLMs aus dem GLEE-Benchmark) trainiert und passt sich an den Zielagenten an, indem es dessen $K$ beobachtete Spiele als kontextuelle gelabelte Beispiele nutzt. Das Modell kombiniert populationsweite Regularitäten mit ziel-spezifischen Evidenzen ohne gradientenbasiertes Nachtrainieren.
Benchmarks: Die Autoren vergleichen ihr Vollmodell gegen:
- Spiel+Text-Features: Dasselbe tabulare Modell, jedoch ohne die Observer-versteckten-Zustands-Features.
- LLM-as-Predictor: Ein Frontier-LLM, das direkt mit dem Spielzustand, dem Dialog und $K$ Beispielen gepromptet wird, um eine Vorhersage auszugeben.

Hauptbeiträge

Formulierung: Der Beitrag reframt die Few-Shot-Vorhersage sprachbasierter Agenten als zieladaptives text-tabulares Task, wobei $K$ vorherige Spiele als gelabelte Anpassungsbeispiele genutzt werden.
LLM-as-Observer: Die Einführung eines entscheidungsorientierten Feature-Blocks, bei dem ein eingefrorenes LLM als Encoder fungiert. Die Autoren zeigen, dass die versteckten Zustände eines kleinen eingefrorenen LLM komplementäre, entscheidungsrelevante Signale liefern, die in der direkten Ausgabe des Modells nicht zuverlässig sichtbar werden.
Cross-Populations-Datensatz und Evaluation: Die Autoren stellen einen zurückgehaltenen Datensatz von 91 „scaffolding"-Agenten vor (von Studierenden erstellt, die auf einem gemeinsamen zugrundeliegenden LLM basieren, sich jedoch in Prompts und Steuerlogik unterscheiden) und evaluieren die Transferleistung von einer Quellpopulation von Frontier-LLMs (unterschiedlich im zugrundeliegenden Modell). Dies testet die Robustheit von Vorhersagern über verschiedene Achsen der Agentenheterogenität hinweg.

Ergebnisse
Experimente wurden an Verhandlungs- und Auktionsspielen aus dem GLEE-Framework durchgeführt.

Leistung: Das vollständige text-tabulare Modell mit Observer-Features übertrifft sowohl die „Spiel+Text"-Basislinie als auch den direkten „LLM-as-Predictor"-Ansatz über alle Werte von $K$ (0 bis 16).
Observer-Beitrag: Bei $K=16$ verbessern die Observer-Features die AUC der Antwortvorhersage um etwa 4 Prozentpunkte gegenüber der besten Basislinie und reduzieren den Fehler der Vorschlagsvorhersage (gemessen am medianen $R^2$ ) in Verhandlungsaufgaben um 14 %.
Versteckte Zustände vs. Direkte Ausgabe: Ablationsstudien bestätigen, dass die Vorhersagekraft aus den versteckten Zuständen des LLM stammt, nicht aus dessen direkten Logits. Die versteckten Zustände übertreffen konsistent die eigenen Annahme/Ablehnung-Wahrscheinlichkeiten des LLM, was darauf hindeutet, dass sie strategische Informationen kodieren, die der Output-Head nicht zuverlässig an die Oberfläche bringt.
Robustheit: Die Gewinne durch Observer-Features sind stabil über verschiedene eingefrorene LLM-Anbieter (Gemma, Qwen, Llama) und über mittlere bis späte Schichten hinweg, was darauf hindeutet, dass das Signal eine intrinsische Eigenschaft der Repräsentation ist.
Limitationen von LLM-as-Predictor: Direktes Prompting mit großen Frontier-LLMs performs bei der Vorschlagsvorhersage (Regression) schlecht und liefert oft negative $R^2$ -Werte, wahrscheinlich aufgrund der Schwierigkeit, die autoregressive Token-Generierung für kontinuierliche numerische Werte im Vergleich zu den Regressionsfähigkeiten des tabularen Modells zu kalibrieren.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass die Vorhersage von Entscheidungen unbekannter KI-Agenten besser als zieladaptives text-tabulares Lernproblem formuliert wird als als direkte Few-Shot-LLM-Vorhersage. Die Bedeutung liegt in der Demonstration, dass:

Die Trennung von Repräsentation (extrahiert via eingefrorenem LLM-Encoder) und Anpassung (durch einen überwachten tabularen Lerner durchgeführt) überlegene Leistung erzielt.
Versteckte LLM-Repräsentationen entscheidungsrelevante Signale offenbaren, die direktes Prompting nicht zuverlässig an die Oberfläche bringt, selbst wenn kleinere, eingefrorene Modelle gegenüber großen Frontier-Modellen verwendet werden.
Dieser Ansatz eine effektive Anpassung an neue, konstruierte Agenten (scaffolding-Agenten) unter Verwendung einer wiederverwendbaren Quellpopulation ermöglicht und somit ein allgemeines Rezept für die Modellierung der Entscheidungsfindung unbekannter KI-Agenten im sprachvermittelten Handel bietet.

Die Autoren weisen auf Limitationen hin, darunter, dass die Spiele kontrollierte Abstraktionen und keine realen Märkte sind, und dass die Methode den Zugriff auf eine relevante Quellpopulation voraussetzt. Sie betonen, dass der Ansatz ein Schritt hin zu vorhersagebewussten Agenten ist, die sich an Partner anpassen können, ohne privaten Zustand zu teilen.