🤖 AI

Beyond expert users: agents should help users construct preferences, not just elicit them

Dieses Paper argumentiert, dass KI-Agenten Nutzer aktiv dabei unterstützen sollten, Präferenzen zu konstruieren, indem sie notwendiges Domänenwissen bereitstellen, anstatt diese lediglich zu explorieren, eine Herausforderung, die durch das vorgeschlagene CoPref-Framework und den CoShop-Benchmark verdeutlicht wird, welche aufzeigen, dass aktuelle Frontier-Modelle Schwierigkeiten haben, das Verständnis des Nutzers trotz mehrerer Interaktionsrunden zu erweitern.

Ursprüngliche Autoren: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten ein exklusives Schuhgeschäft, um Wanderschuhe zu kaufen. Sie sagen zum Verkäufer: „Ich brauche Stiefel, die bequem sind, nicht zu teuer und gut aussehen.“

In der Welt der aktuellen KI-Einkaufsassistenten geht das System davon aus, dass Sie ein Experte sind. Es denkt: „Großartig! Sie wissen genau, was Sie wollen. Ich muss nur noch ein paar Fragen stellen, um die Details zu klären: ‚Welche Größe? Welche Farbe? Was ist Ihr Budget?‘“

Das Paper argumentiert, dass diese Annahme falsch ist. Die meisten von uns sind keine Experten. Wir wissen nicht, dass die „Profiltiefe“ (das Profil an der Unterseite) für felsige Pfade wichtig ist, oder dass „wasserdicht“ etwas anderes bedeutet als „wasserabweisend“. Wenn die KI nur fragt: „Möchten Sie wasserdichte Stiefel?“ und Sie antworten: „Ich weiß es nicht“, stößt die KI auf eine Sackgasse. Sie kann den richtigen Stiefel nicht finden, weil sie Ihnen noch nicht beigebracht hat, warum dieses Merkmal überhaupt wichtig ist.

Die Kernidee: Präferenzen aufbauen, statt sie nur zu finden

Die Autoren schlagen vor, dass eine KI nicht nur ein Frage-Steller sein sollte; sie muss ein Lehrer sein.

Sie führen ein Modell namens COPREF (Co-constructed Preferences – Ko-konstruierte Präferenzen) ein. Betrachten Sie Ihre Vorlieben nicht als eine verborgene Schatzkiste, die die KI mit einem Schlüssel (einer Frage) zu öffnen versucht, sondern als ein Haus, das während Ihres Gesprächs Stein für Stein aufgebaut wird.

Suchmerkmale (Search Features): Das sind die einfachen Steine. Sie wissen, dass Sie „Rot“ oder „Größe 43“ wollen. Die KI fragt einfach, und Sie antworten.
Erlebnismerkmale (Experience Features): Das sind Steine, die man erst sieht, wenn man sie in der Hand hält. Sie wissen nicht, ob Sie „Wildleder“ mögen, bis die KI Ihnen ein Bild eines Wildlederstiefels zeigt und fragt: „Sehen Sie diese Textur?“ Dann merken Sie: „Oh, das mag ich gar nicht.“
Glaubwürdigkeitsmerkmale (Credence Features): Das sind die Baupläne. Sie wissen nicht einmal, dass die Wand existiert, bis die KI erklärt: „Übrigens gibt es bei einigen Stiefeln ein spezielles Innenfutter, das Blasen verhindert.“ Sobald Sie das lernen, können Sie entscheiden, ob Sie es haben möchten.

Das Experiment: COSHOP

Um dies zu testen, bauten die Forscher einen Spielplatz namens COSHOP. Es ist wie ein Videospiel, in dem ein KI-Agent versucht, einem simulierten Nutzer beim Kauf von Dingen (Kleidung, Filme oder Bücher) zu helfen.

Die „Nutzer“ in diesem Spiel sind so programmiert, dass sie echten Menschen entsprechen: Sie starten mit sehr wenigen Ideen. Sie wissen nicht, was sie wollen, bis die KI ihnen hilft, es zu lernen. Das Ziel ist nicht nur, dass die KI den richtigen Artikel findet; das Ziel ist, dass die KI dem Nutzer hilft, zu verstehen, was er will, damit er selbst den richtigen Artikel auswählen kann.

Das Ergebnis: Die KI ist zu schüchtern, um zu lehren

Die Forscher testeten fünf der klügsten verfügbaren KI-Modelle (wie die neuesten Versionen von GPT und Claude). Und so lief es ab:

Die „Experten“-Falle: Wenn die KI einen Nutzer erhielt, der bereits alles wusste (ein Experte), war die KI brillant. Sie fand in 94 % der Fälle das richtige Objekt.
Der „Echte Nutzer“-Absturz: Als die KI versuchte, einem „echten“ Nutzer zu helfen (der erst noch lernen musste), brach die Leistung drastisch ein. Kein Modell erreichte eine Genauigkeit von über 56 %.
Der Grund für das Scheitern: Die KI war nicht schlecht darin, im Geschäft zu suchen. Sie war schlecht darin, zu lehren.
- Zu viele Fragen, zu wenig Beispiele: Die KI fragte immer wieder: „Magst du das?“ oder „Ist das zu teuer?“, ohne jemals dem Nutzer zu zeigen, wie „zu teuer“ oder „dieser Stil“ tatsächlich aussah.
- Vorzeitige Beendigungen: Die KI wurde oft müde vom Fragen und sagte: „Okay, ich denke, ich habe genug Informationen“, und ging zur Suche über. Aber der Nutzer wusste immer noch nicht genug, um aus der Liste das richtige Teil auszuwählen.
- Halluzinationen: Manchmal erfand die KI Merkmale, die gar nicht existierten, was den Nutzer zusätzlich verwirrte.

Die Analogie des „schlechten Berichts“

Stellen Sie sich vor, die KI ist ein Forscher, der den perfekten Wanderschuh findet. Er schreibt einen Bericht für Sie.

Das Problem: Der Bericht sagt: „Hier ist ein toller Stiefel.“ Aber er vergisst zu erwähnen, dass der Stiefel aus schwerem Leder ist (was Sie hassen) oder dass er einen hohen Schaft hat (den Sie brauchen).
Das Ergebnis: Obwohl die KI den perfekten Stiefel gefunden hat, können Sie ihn nicht wählen, weil der Bericht Ihnen nicht die Informationen gegeben hat, die Sie für eine Entscheidung benötigen. Sie wählen stattdessen einen anderen, schlechteren Stiefel, weil Sie nicht wussten, dass der erste eigentlich der richtige gewesen wäre.

Das Fazate

Das Paper kommt zu dem Schluss, dass eine KI wirklich hilfreich sein kann, wenn sie aufhört, als Abrufsystem (das nur Antworten abruft) zu agieren, und anfängt, als Kollaborateur zu fungieren. Sie muss erkennen, dass der Nutzer manchmal nicht weiß, was er will, und die Aufgabe der KI ist es, Beispiele zu zeigen und technische Details zu erklären, damit der Nutzer seine eigenen Vorlieben konstruieren kann.

Derzeit scheitern selbst die klügsten KIs an dieser Aufgabe. Sie sind großartig darin, Dinge zu finden, aber sie sind schrecklich darin, uns zu helfen herauszufinden, was wir eigentlich brauchen.

Technisches Resümee: Jenseits von Experten-Nutzern – Agenten sollten Nutzern helfen, Präferenzen zu konstruieren, statt sie nur zu erfragen

1. Problemstellung

Aktuelle agentische Empfehlungssysteme (z. B. ChatGPT Shopping Research, Amazon Rufus) und die zur Evaluierung ihrer Verwendung befindlichen Benchmarks operieren unter einer kritischen, unrealistischen Annahme: dass Nutzer Experten mit gut geformten, statischen Präferenzen sind, die vollständig durch Klärungsfragen spezifiziert werden können. In der Realität verfügen Nicht-Experten oft nicht über das notwendige Domänenwissen, um Präferenzen für alle relevanten Merkmale zu definieren. Sie sind möglicherweise nicht in der Lage, Fragen zu spezifischen Attributen zu beantworten (z. B. „Taschentiefe“ bei Wanderschuhen oder „Viskose vs. Lyocell“ bei Stoffen), weil sie noch nicht verstehen, was diese Merkmale bedeuten oder wie sie sich auf das Nutzererlebnis auswirken.

Das Paper argumentiert, dass Agenten, wenn sie sich ausschließlich auf Klärungsfragen verlassen, daran scheitern, den Nutzern dabei zu helfen, die notwendigen Präferenzen zu konstruieren, um Empfehlungen zu bewerten. Folglich kann der Nutzer selbst dann, wenn der Agent das ideale Objekt erfolgreich gefunden hat, möglicherweise nicht erkennen, dass es die beste Wahl ist, da sein Präferenzzustand noch unterentwickelt ist. Dies führt zu einem Scheitern der „Teamleistung“ des Mensch-Agent-Systems, nicht nur zu einer mangelnden Retrieval-Fähigkeit des Agenten.

2. Methodik

2.1 Das COPREF-Modell

Die Autoren führen COPREF (Co-constructed Preferences) ein, ein formales Modell der Nutzer-Agent-Interaktion, bei dem Präferenzen nicht abgerufen, sondern durch Dialog konstruiert werden.

Präferenzzustand ( $S_t$ ): Eine Teilmenge von Merkmalen $F$ , über die der Nutzer zum Zeitpunkt $t$ eine Präferenz gebildet hat. Dieser Zustand entwickelt sich ausgehend von einem unvollständigen Anfangszustand ( $S_1$ ) basierend auf den Aktionen des Agenten.
SEC-Framework: In Anlehnung an die Informationsökonomik (Search-Experience-Credence / Suche-Erfahrung-Glaubwürdigkeit) unterteilt das Modell Merkmale in drei Typen, die jeweils eine unterschiedliche Dialogaktion des Agenten erfordern, um freigeschaltet zu werden:
1. Such-Merkmale ( $F_s$ - Search Features): Nutzer kennen ihre Präferenz (z. B. Preis, Größe). Freigeschaltet durch Klärungsfragen.
2. Erfahrungs-Merkmale ( $F_e$ - Experience Features): Nutzer müssen konkrete Beispiele sehen, um sich entscheiden zu können (z. B. „Ist dieses Muster zu unruhig?“). Freigeschaltet durch Beispieloptionen.
3. Glaubwürdigkeits-Merkmale ( $F_c$ - Credence Features): Nutzer benötigen Domänenwissen, um das Merkmal zu verstehen (z. B. „Was ist ein Yoke-Panel?“). Freigeschaltet durch technische Erklärungen.
Mechanismus: Ein Merkmal wird erst dann dem Präferenzzustand des Nutzers hinzugefügt, wenn der Agent die spezifische Dialogaktion ausführt, die dem SEC-Typ des Merkmals entspricht.

2.2 Die COSHOP-Benchmark

Um Agenten unter diesem Modell zu evaluieren, führen die Autoren COSHOP ein, eine interaktive Benchmark für agentische Empfehlungssysteme über drei Domänen hinweg:

Datensätze: H&M (Mode), MovieLens (Filme) und Goodreads (Bücher).
Nutzer-Simulation: Im Gegensatz zu typischen Simulatoren, die eine Persona einmalig prompten, nutzt COSHOP einen Simulator (basierend auf gpt-oss-120b), der explizit an den aktuellen Präferenzzustand $S_t$ gebunden ist. Die SEC-Aufteilung des Simulators (welche Merkmale Suche/Erfahrung/Glaubwürdigkeit sind) wird individuell basierend auf den historischen Kauf-/Bewertungsdaten des Nutzers personalisiert.
Interaktionsprotokoll:
1. Konversation: Agent und Nutzer konversieren für bis zu 5 Runden (Budget: 20 Fragen, 10 einzigartige Artikel gezeigt).
2. Recherche: Agent durchsucht den Katalog (Budget: 250 Retrievals).
3. Bericht: Agent generiert $k=5$ Empfehlungen.
4. Selektion: Der Nutzer wählt ein Objekt basierend auf seinem finalen Präferenzzustand $S_{T+1}$ aus.
Metriken:
- Zustandsvollständigkeit (State Completeness): Bruchteil des vollständigen Präferenzsatzes des Nutzers, der wiedergefunden wurde.
- Agenten-Recall (Agent Recall): Ob das Zielobjekt $x^*$ in den Top- $k$ Empfehlungen erscheint.
- Team-Genauigkeit (Team Accuracy): Ob der Nutzer $x^*$ basierend auf dem Bericht erfolgreich auswählt. Dies ist die primäre Metrik, die sowohl durch den Recall als auch durch die Reichhaltigkeit des Präferenzzustands des Nutzers begrenzt wird.

2.3 Validierung durch Human Studies

Eine Studie mit $n=25$ Teilnehmern validierte die Kernbehauptungen von COPREF:

Nicht-Experten besitzen eine Mischung aus Such-, Erfahrungs- und Glaubwürdigkeits-Merkmalen (kein Nutzer besaß ausschließlich Such-Merkmale).
Angemessene Dialogaktionen (Beispiele für Erfahrung, Erklärungen für Glaubwürdigkeit) konnten Präferenzen erfolgreich „freischalten“, die zuvor nicht formuliert waren.
Die SEC-Klassifizierungen variieren je nach Individuum; ein Merkmal ist nicht universell Glaubwürdigkeit oder Erfahrung, sondern hängt vom spezifischen Domänenwissen des Nutzers ab.

3. Zentrale Beiträge

COPREF-Modell: Eine Formalisierung der Präferenzkonstruktion, die die Annahme des „Experten-Nutzers“ infrage stellt und zwischen Merkmalen unterscheidet, die Fragen, Beispiele oder Erklärungen zur Definition benötigen.
COSHOP-Benchmark: Eine Open-Source interaktive Benchmark, die Agenten auf ihre Fähigkeit zur Co-Konstruktion von Präferenzen mit Nicht-Experten evaluiert und dabei „Team-Genauigkeit“ statt nur „Retrieval“ misst.
Empirische Analyse: Eine umfassende Evaluierung von fünf Frontier-Sprachmodellen (GPT- und Claude-Familien), die zeigt, dass aktuelle Agenten darin versagen, das Wissen der Nutzer effektiv zu erweitern.

4. Ergebnisse

Die Evaluierung von fünf Frontier-Modellen (einschließlich gpt-5.2, claude-sonnet-4.6 und gpt-oss-120b) auf COSHOP lieferte folgende Erkenntnisse:

Leistungsabfall: Während Modelle hohe Werte erzielen (z. B. 94,3 % für claude-sonnet-4.6), wenn ihnen vollständig spezifizierte Präferenzen vorab gegeben werden, sinkt ihre Team-Genauigkeit auf COSHOP signifikant (maximal 56 % über alle Modelle und Domänen hinweg).
Fehlermodi:
1. Unterentwickelte Präferenzzustände: Agenten versäumen es, die notwendigen Dialogaktionen (Beispiele, Erklärungen) durchzuführen, um Erfahrungs- und Glaubwürdigkeits-Merkmale freizuschalten. Infolgedessen kann der Nutzer das Zielobjekt nicht von Distraktoren unterscheiden, selbst wenn es im Bericht enthalten ist.
2. Mangelhafte Berichtsqualität: Agenten lassen oft Merkmale des Objekts aus oder stellen sie falsch dar, was die korrekte Bewertung der Optionen durch den Nutzer verhindert.
Interaktionsstrategien:
- Modelle neigen dazu, sich stark auf Klärungsfragen zu verlassen (oft redundant oder rein bestätigend), anstatt Beispiele oder Erklärungen bereitzustellen.
- Kein Modell bot proaktiv technische Erklärungen für Glaubwürdigkeits-Merkmale an.
- Größere Modelle (z. B. gpt-5.2) zeigten einen „Execution Bias“ (Ausführungs-Bias), indem sie die Konversation vorzeitig beendeten, um in die Recherchephase überzugehen, wodurch die Aufgabe unterdefiniert blieb.
- Kleinere Modelle erschöpften das Konversationsbudget, versäumten es jedoch, neue Merkmale einzuführen, und verharren stattdessen in Schleifen über bereits bekannte Attribute.
Interventionen: Die Bereitstellung der Nutzerhistorie verbesserte die Leistung der Agenten nicht signifikant. Das Überschreiben der Agenten-Objektbeschreibungen mit vollständigen Katalogdaten (was eine perfekte Berichtsqualität simuliert) verbesserte die Team-Genauigkeit jedoch erheblich, was bestätigt, dass die Berichtsqualität und die Entwicklung des Präferenzzustands die primären Engpässe sind.

5. Bedeutung und Thesen

Das Paper behauptet, dass die primäre Limitation aktueller agentischer Empfehlungssysteme nicht deren Fähigkeit zur Suche oder zum Retrieval von Objekten ist, sondern ihre Unfähigkeit, die Nutzer zu lehren, was sie wissen müssen, um eine Entscheidung zu treffen.

Paradigmenwechsel: Die Autoren argumentieren, dass sich das Feld von der Sichtweise der Agenten als „Präferenz-Elicitatoren“ (Abruf statischer Präferenzen) hin zu „Präferenz-Konstruktoren“ (aktiver Aufbau von Nutzerwissen) entwickeln muss.
Team-Genauigkeit: Der Erfolg sollte als gemeinsame Kapazität des Mensch-Agent-Teams gemessen werden. Ein Agent, der das perfekte Objekt findet, aber dem Nutzer nicht helfen kann zu verstehen, warum es perfekt ist, hat seine Aufgabe nicht erfüllt.
Zukünftige Richtungen: Das Paper schlägt vor, dass zukünftige Arbeit darauf abzielen sollte, Agenten zu trainieren, zu erkennen, wann ein Nutzer über mangelndes Domänenwissen verfügt, und proaktiv Beispiele und Erklärungen einzusetzen, anstatt sich lediglich auf Klärungsfragen zu verlassen. Zudem wird gefordert, das COPREF-Modell über Empfehlungsszenarien hinaus auf andere aufgabenorientierte Domänen auszuweiten.

Die Autoren bleiben bescheiden und merken an, dass ihr Modell die Präferenzkonstruktion vereinfacht (unter der Annahme eines einstufigen Freischaltens und eines monotonen Zustandszuwachses) und dass selbst unter diesen günstigen Bedingungen aktuelle Frontier-Modelle Schwierigkeiten haben, sich anzupassen.