💬 NLP

Modeling Distinct Human Interaction in Web Agents

Diese Arbeit stellt mit CowCorpus einen neuen Datensatz und ein Modell vor, das menschliche Eingriffe in Web-Agenten vorhersagt, wodurch durch vier erkannte Interaktionsmuster die Vorhersagegenauigkeit um bis zu 63,4 % und die wahrgenommene Nützlichkeit der Agenten um 26,5 % gesteigert werden.

Ursprüngliche Autoren: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham

Veröffentlicht 2026-03-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Faria Huq, Zora Zhiruo Wang, Zhanqiu Guo, Venu Arvind Arangarajan, Tianyue Ou, Frank Xu, Shuyan Zhou, Graham Neubig, Jeffrey P. Bigham

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Der perfekte Co-Pilot: Wie KI lernt, wann sie den Menschen fragen soll

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas überstürzten Assistenten, der dir hilft, Dinge im Internet zu erledigen – etwa Flugtickets buchen, Jobs suchen oder Rezepte finden. Dieser Assistent ist eine Künstliche Intelligenz (KI).

Das Problem bisher war: Dieser Assistent war entweder zu stur (er macht alles allein, auch wenn er sich irrt) oder zu nervig (er fragt bei jedem kleinen Schritt: „Soll ich das wirklich tun?"). Das macht die Zusammenarbeit mühsam.

Diese Forschungslösung nennt sich COWCORPUS (ein Wortspiel aus „Cow" für Kuh/Herde und „Corpus" für Datensammlung, aber im Kern ist es eine riesige Sammlung von echten Interaktionen). Hier ist die einfache Erklärung, was die Forscher entdeckt und gebaut haben:

1. Das Problem: Der „Sturkopf" und der „Nervensäge"

Bisher wussten die KI-Agenten nicht, wann sie den Menschen einbeziehen sollten.

Szenario A: Die KI klickt auf den falschen Button, weil sie den Kontext nicht versteht. Der Mensch muss warten, bis die KI den Fehler bemerkt, oder muss mitten in der Aktion eingreifen.
Szenario B: Die KI fragt bei jedem Klick um Erlaubnis. Das ist so, als würde ein Koch den Gast bei jedem Schneiden einer Karotte fragen: „Darf ich jetzt schneiden?" – Das nervt und kostet Zeit.

2. Die Lösung: Ein Datenschatz aus 400 echten Geschichten

Die Forscher haben 400 echte Menschen gebeten, mit einer KI zusammenzuarbeiten. Sie haben genau aufgezeichnet:

Was hat die KI getan?
Wann hat der Mensch eingegriffen?
Warum hat der Mensch eingegriffen? (War es ein Fehler? War die KI zu langsam? Hat sie die falsche Farbe gewählt?)

Daraus haben sie vier verschiedene Mensch-Typen identifiziert, wie sie mit der KI umgehen:

Der „Übernehmer": Lässt die KI laufen, greift aber am Ende ein und macht den Rest selbst fertig.
Der „Hand-an-der-Luft": Greift oft ein, aber gibt die Kontrolle auch wieder ab. Ein echtes Team.
Der „Beobachter": Lässt die KI fast alles allein machen und greift nur selten ein.
Der „Kooperations-Partner": Greift gezielt und kurz ein, um die KI zu korrigieren, und lässt sie dann weiterarbeiten.

3. Die Magie: Die KI lernt, den „Bauchgefühl"-Moment zu spüren

Die Forscher haben eine neue KI trainiert, die nicht nur was sie tun soll, sondern auch wann sie den Menschen fragen muss, vorhersagen kann.

Stell dir das wie einen Erfahrenen Chauffeur vor, der einen Fahrgast fährt:

Ein unerfahrener Chauffeur (die alte KI) fragt bei jeder Ampel: „Soll ich bremsen?"
Ein erfahrener Chauffeur (die neue KI) weiß: „Der Fahrgast mag es, wenn ich bei der nächsten roten Ampel kurz anhalte, um ihn zu fragen, ob er noch etwas braucht. Aber bei der nächsten grünen Ampel fahre ich einfach weiter, ohne zu fragen."

Die neue KI hat gelernt, diese Momente vorherzusehen. Sie sagt sich: „Aha, hier könnte der Nutzer bald eingreifen, weil die Seite kompliziert ist. Ich frage jetzt lieber proaktiv, statt dass er mich unterbricht."

4. Das Ergebnis: Weniger Stress, mehr Erfolg

Als die Forscher diese „intelligenten" KIs in einem echten Browser-Test einsetzten, passierte Folgendes:

Die Nutzer fühlten sich 26,5 % zufriedener.
Die KI unterbrach sie nicht unnötig.
Die Nutzer hatten das Gefühl, die Kontrolle zu behalten, ohne ständig selbst alles machen zu müssen.

Zusammenfassung in einer Metapher

Stell dir vor, du und ein Roboter bauen ein Möbelstück zusammen.

Die alte KI war wie ein Roboter, der entweder den Schraubenzieher festhält und nicht loslässt, bis er kaputtgeht, oder der dich bei jedem Schraubengang fragt: „Darf ich jetzt drehen?"
Die neue KI ist wie ein erfahrener Handwerker. Er weiß genau, wann er eine Schraube festziehen kann, ohne zu fragen, und wann er kurz innehalten und sagen muss: „Hey, ich glaube, hier passt das Teil nicht, willst du mal schauen?"

Fazit: Die Forschung zeigt, dass die beste KI nicht die ist, die am meisten allein macht, sondern die, die genau weiß, wann der Mensch gebraucht wird. Das macht die Zusammenarbeit nicht nur schneller, sondern auch menschlicher.

Titel: Modellierung distinkter menschlicher Interaktionen in Web-Agenten

1. Problemstellung

Trotz rascher Fortschritte bei autonomen Web-Agenten (gestützt durch Large Language Models, LLMs) bleibt die menschliche Beteiligung entscheidend, um Präferenzen zu formen und Fehlverhalten zu korrigieren. Aktuelle agentic Systeme leiden jedoch unter einem Mangel an Prinzipien, um zu verstehen, wann und warum Menschen eingreifen.

Herausforderung: Agenten handeln oft zu autonom und überspringen kritische Entscheidungspunkte oder fragen unnötig oft um Bestätigung, was zu einer hohen Überwachungsbelastung für den Nutzer führt.
Ziel: Es fehlt ein Modell, das vorhersagen kann, wann ein Eingriff des Nutzers wahrscheinlich ist, um die Agenten so anzupassen, dass sie nur dann intervenieren, wenn es notwendig ist, und so die Zusammenarbeit optimieren.

2. Methodik

A. Datenerhebung: COWCORPUS
Die Autoren haben COWCORPUS, einen neuen Datensatz, erstellt, der 400 reale Web-Navigationspfade von Nutzern enthält, die mit einem KI-Agenten (CowPilot) zusammenarbeiten.

Umfang: Über 4.200 verflochtene Aktionen von Mensch und Agent (2.748 Agenten-Schritte, 1.476 menschliche Schritte).
Aufbau: Der Datensatz besteht aus 10 standardisierten Aufgaben (aus Mind2Web) und 10 freien, vom Nutzer gewählten Aufgaben.
Annotation: Jeder Schritt ist annotiert, um zu markieren, wann Nutzer den Agenten pausierten, fortsetzten oder übernahmen.

B. Analyse der Interaktionsmuster
Durch die Analyse von COWCORPUS identifizierten die Autoren vier distinkte Interaktionsstile (Cluster), basierend auf Interventionshäufigkeit, Intensität und der Rückgabe der Kontrolle an den Agenten:

Takeover: Seltene, späte Eingriffe; der Nutzer übernimmt die Kontrolle und gibt sie nicht zurück.
Hands-on: Häufige, intensive Eingriffe; ständiger Wechsel der Kontrolle zwischen Mensch und Agent.
Hands-off: Keine Eingriffe; der Agent führt die Aufgabe vollständig autonom aus.
Collaborative: Selektive, kurze Eingriffe mit hoher Wahrscheinlichkeit, die Kontrolle zurückzugeben.

C. Modellierung und Training
Das Problem wurde als schrittweise binäre Klassifikation formuliert: Vor jedem Agenten-Schritt soll das Modell vorhersagen, ob der Nutzer eingreifen wird ( $y_t \in \{0, 1\}$ ).

Eingabe: Multimodale Beobachtung (Screenshot + Accessibility Tree), Historie der Trajektorie und der geplante Agenten-Aktionsvorschlag.
Architektur: Fine-Tuning von Large Multimodal Models (LMMs) wie Gemma-27B und LLaVA-8B mittels Supervised Fine-Tuning (SFT).
Strategie: Es wurden zwei Ansätze verfolgt:
1. Ein allgemeines Interventions-Modell, das auf allen Daten trainiert wurde.
2. Stil-konditionierte Modelle, die spezifisch für die oben genannten Interaktionscluster (Takeover, Hands-on, Collaborative) feinabgestimmt wurden.

D. Evaluierungsmetriken
Neben herkömmlichen Metriken (Step Accuracy, F1-Score) wurde eine neue Metrik eingeführt:

Perfect Timing Score (PTS): Bewertet nicht nur die Korrektheit, sondern auch den Zeitpunkt der Vorhersage. Sie bestraft falsche Positive, die zu früh vorhergesagt werden, basierend auf ihrem zeitlichen Abstand zum tatsächlichen Eingriff.

3. Wichtige Ergebnisse

Vorhersagegenauigkeit: Die feinabgestimmten Open-Source-Modelle (Gemma-27B SFT) erreichten einen Perfect Timing Score (PTS) von 0,303. Dies ist eine signifikante Verbesserung gegenüber proprietären Modellen wie Claude 4 Sonnet (0,293) und GPT-4o (0,147).
- Die Genauigkeit der Interventionsvorhersage verbesserte sich um 61,4–63,4 % im Vergleich zu Basis-LLMs.
Überlegenheit von Fine-Tuning: Proprietäre Modelle zeigten sich zu konservativ und verpassten aktive Eingriffe (niedrige Recall-Werte). Fine-Tuning auf hochwertigen Interaktionsdaten schloss diese Lücke effektiv.
Stil-Anpassung: Modelle, die auf spezifische Cluster (z. B. „Collaborative") trainiert wurden, performten in diesen Gruppen besser als allgemeine Modelle. Ein interessantes Ergebnis war, dass für die „Takeover"-Gruppe (wenige Datenpunkte) ein Modell, das auf der „Hands-on"-Gruppe trainiert wurde, besser performte, was auf die Bedeutung von Datenmenge und Dichte hinweist.
Live-Evaluierung (User Study): Das Interventions-Modell wurde in den Browser-Agenten PlowPilot integriert. In einer Studie mit 20 Teilnehmern zeigte sich:
- Eine 26,5 %ige Steigerung der vom Nutzer bewerteten Nützlichkeit des Agenten im Vergleich zum Baseline-Agenten (CowPilot ohne Vorhersagemodell).
- Nutzer fühlten sich mehr kontrolliert und wurden weniger unnötig unterbrochen.

4. Schlüsselbeiträge

COWCORPUS: Einführung eines umfassenden Datensatzes für menschlich-agentische Zusammenarbeit im Web, der zeitliche Eingriffsmuster und Interaktionsstile dokumentiert.
Taxonomie der Interaktion: Definition und empirische Validierung von vier distinkten menschlichen Interaktionsstilen, die über einfache „Mensch vs. Maschine"-Szenarien hinausgehen.
Interventionsvorhersage als Aufgabe: Formulierung des Problems als sequenzielle Vorhersageaufgabe mit einer neuen Metrik (PTS), die den zeitlichen Kontext berücksichtigt.
Praktische Validierung: Demonstration, dass die Vorhersage von menschlichen Eingriffen die Benutzerzufriedenheit und die Effektivität von Web-Agenten in realen Szenarien signifikant steigert.

5. Bedeutung und Ausblick

Diese Arbeit markiert einen Paradigmenwechsel von der Optimierung reiner Autonomie hin zur Gestaltung von adaptiven, kollaborativen Agenten.

Kontext: Anstatt den Agenten blind laufen zu lassen oder ihn bei jedem Schritt zu stoppen, ermöglicht das Modell eine dynamische Anpassung an die Präferenzen und den Stil des Nutzers.
Zukunft: Die Ergebnisse unterstreichen, dass kleine, spezialisierte Modelle durch Fine-Tuning auf Interaktionsdaten oft besser performen als riesige, allgemeine Modelle. Dies legt den Grundstein für Agenten, die nicht nur Aufgaben ausführen, sondern als echte Partner agieren, die den menschlichen Eingriff zur richtigen Zeit antizipieren.

Zusammenfassend zeigt das Paper, dass die strukturierte Modellierung menschlicher Eingriffe entscheidend ist, um die Lücke zwischen autonomer KI und menschlicher Kontrolle zu schließen und so robustere, benutzerfreundlichere Web-Agenten zu schaffen.