DRACULA: Hunting for the Actions Users Want Deep Research Agents to Execute
Dieser Beitrag stellt DRACULA vor, den ersten Datensatz, der Experten-Feedback zu Zwischenaktionen für Agenten der wissenschaftlichen Tiefenrecherche erfasst, und zeigt auf, dass die Nutzung der Auswahlhistorie eines Benutzers die Vorhersage bevorzugter Aktionen erheblich verbessert, wobei gleichzeitig die kritische Herausforderung hervorgehoben wird, zu entscheiden, welche Aktionen auszuführen sind, und nicht nur, wie sie auszuführen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superschlauen Forschungsassistenten (einen KI-Agenten), der Tausende wissenschaftlicher papers lesen und einen langen, detaillierten Bericht für Sie verfassen kann. In der Vergangenheit konnten Sie, wenn Ihnen der endgültige Bericht nicht gefiel, nur sagen: „Das ist schlecht" oder „Das ist gut". Doch das ist so, als würde man einem Koch sagen: „Die Suppe schmeckt falsch", ohne ihm zu sagen, ob er zu viel Salz verwendet, die Zwiebeln vergessen oder den Knoblauch verbrannt hat. Sie wissen nicht, welcher Schritt schiefgelaufen ist, sodass der Koch nicht wirklich lernen kann, wie er es beim nächsten Mal richtig macht.
Diese Arbeit, DRACULA, führt eine neue Art vor, mit diesen Forschungsassistenten zu sprechen. Anstatt nur das fertige Gericht zu beurteilen, baten die Forscher die Nutzer, die Zutaten und Schritte zu verkosten, bevor die Suppe überhaupt zubereitet wurde.
Hier ist die Aufschlüsselung dessen, was sie taten und fanden, unter Verwendung einfacher Analogien:
1. Das Problem: Der „Black-Box"-Bericht
Normalerweise trifft eine KI, wenn sie einen Forschungsbericht verfasst, auf ihrem Weg hunderte winziger Entscheidungen: Welche papers sollte ich lesen? Soll ich eine Grafik hinzufügen? Soll ich dieses Konzept mit einer Analogie erklären?
Zuvor sahen die Nutzer nur das Endergebnis. Wenn der Bericht langweilig war, wusste die KI nicht, ob sie die falschen papers ausgewählt hatte oder weil der Schreibstil zu steif war. Es war eine „Black Box".
2. Die Lösung: Der „Rezeptkarten"-Ansatz
Die Forscher entwickelten ein System, bei dem die KI, bevor sie den Bericht schreibt, dem Nutzer ein Menü möglicher Aktionen (wie eine Rezeptkarte) vorlegt.
- Das Menü: „Ich könnte einen Abschnitt über Datensätze hinzufügen", „Ich könnte dies mit einem Praxisbeispiel erklären" oder „Ich könnte mich nur auf die letzten fünf Jahre der Forschung konzentrieren".
- Die Aufgabe des Nutzers: Der Nutzer wählt die gewünschten Aktionen aus (wie das Ankreuzen von Kästchen auf einer Rezeptkarte) und erklärt, warum.
- Das Ergebnis: Die KI verfasst dann den Bericht unter Verwendung nur dieser ausgewählten Aktionen. Schließlich beurteilt der Nutzer: „Haben Sie tatsächlich getan, was ich verlangt habe?"
Sie sammelten über 8.000 dieser „Aktionsauswahlen" und 5.000 „Ausführungsprüfungen" von 19 erfahrenen Informatikforschern.
3. Die große Entdeckung: „Wissen, was man will", ist schwieriger als „Es tun"
Die Forscher stellten zwei überraschende Dinge fest:
- Die KI ist tatsächlich ziemlich gut darin, Anweisungen zu befolgen. Sobald ein Nutzer sagt: „Füge eine Grafik hinzu", kann die KI normalerweise eine gute Grafik erstellen.
- Die KI ist schrecklich darin, im Vorhinein zu erraten, was Sie wollen. Die KI schlägt oft die falschen Aktionen vor. Sie könnte beispielsweise vorschlagen, eine Grafik hinzuzufügen, obwohl der Nutzer nur eine einfache Zusammenfassung wollte.
Die Analogie: Stellen Sie sich einen Kellner vor, der hervorragend darin ist, das Steak genau so zuzubereiten, wie Sie es bestellt haben (medium-rare, mit Knoblauchbutter). Aber der Kellner ist schrecklich darin, zu erraten, dass Sie eigentlich einen Salat wollten. Das Problem liegt nicht im Kochen, sondern im Raten.
4. Das „Gedankenlesen"-Experiment
Das Team fragte: Können wir einen Computer trainieren, zu erraten, was ein Mensch auswählen wird?
Sie versuchten, KI-Modelle beizubringen, die Auswahl eines Nutzers vorherzusagen, indem sie verschiedene Hinweise analysierten:
- Hinweis A: Welche papers hat der Nutzer zuvor gelesen? (Nicht sehr hilfreich).
- Hinweis B: Was hat der Nutzer gesagt, dass er mag? (z. B. „Ich mag kurze Berichte"). (Nicht sehr hilfreich).
- Hinweis C: Welche Aktionen hat der Nutzer in der Vergangenheit tatsächlich ausgewählt? (Dies war der Gewinner).
Die Lehre: Die Taten der Menschen sprechen lauter als ihre Worte. Wenn Sie einem Freund sagen: „Ich liebe scharfes Essen", aber immer milde Suppe bestellen, sollte Ihr Freund auf das hören, was Sie bestellen, und nicht auf das, was Sie sagen. Die KI lernte, dass das Betrachten der früheren „Häkchen" eines Nutzers der beste Weg ist, um zu erraten, was er als Nächstes auswählen würde.
5. Das Problem des „Meinungswechsels"
Die Forscher stellten auch fest, dass menschliche Präferenzen tückisch sind. Manchmal wählt ein Nutzer heute eine Aktion, aber wenn Sie ihn in ein paar Monaten erneut fragen, könnte er etwas anderes wählen, weil sich seine Ziele geändert haben.
- Beispiel: Ein Nutzer möchte heute „detaillierte technische Schritte", weil er ein Projekt aufbaut. Nächsten Monat möchte er vielleicht „hochlevelige Zusammenfassungen", weil er nur versucht, die Grundlagen zu verstehen.
- Das Fazit: Man kann nicht für immer perfekt vorhersagen, was ein Mensch will. Manchmal muss man ihn einfach fragen (wie beim „Rezeptkarten"-Menü), weil sich seine Ziele wie der Wind verändern.
6. Das Endergebnis: Ein besseres „Rezept"
Da sie lernten, dass das Betrachten vergangener Aktionen hilft, bauten sie ein System, das die Historie eines Nutzers nutzt, um automatisch bessere „Menüpunkte" vorzuschlagen.
- Wenn ein Nutzer mit einer Historie der Auswahl von „Vergleichstabellen" eine neue Frage stellt, schlägt das System eher vor: „Soll ich eine Vergleichstabelle hinzufügen?"
- Dies machte die Nutzer mit den Vorschlägen viel zufriedener, selbst wenn das System nicht alles perfekt über sie wusste.
Zusammenfassung
DRACULA ist ein Datensatz und eine Studie, die zeigt, dass für KI-Forschungsagenten der schwierigste Teil nicht das Verfassen des Berichts ist; es ist herauszufinden, welche Schritte zu unternehmen sind, um den Bericht nützlich zu machen. Indem wir Nutzern erlauben, die Schritte (Aktionen) vor Beginn der Arbeit auszuwählen und diese Auswahl zu untersuchen, können wir eine KI bauen, die uns besser versteht.
Die Arbeit kommt zu dem Schluss, dass die KI zwar besser darin wird, die Arbeit auszuführen, die eigentliche Herausforderung jedoch darin besteht, zu entscheiden, welche Arbeit überhaupt zu erledigen ist. Der beste Weg, dies zu lösen, besteht darin, auf das zu hören, was Nutzer tatsächlich tun, und nicht nur auf das, was sie sagen, dass sie wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.