Learning Next Action Predictors from Human-Computer Interaction

Die Arbeit stellt LongNAP vor, ein neues Modell zur Vorhersage des nächsten Nutzerhandels, das durch die Analyse multimodaler Interaktionsdaten und die Kombination von parametrischem Lernen mit In-Context-Learning aus langen Historien signifikant bessere Ergebnisse erzielt als bestehende Methoden.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen – ohne Fachchinesisch, aber mit ein paar guten Bildern.

Das große Ziel: Ein KI-Assistent, der wirklich mitdenkt

Stell dir vor, du hast einen persönlichen Assistenten. Bisher waren diese Assistenten wie blinde Passagiere. Du musstest ihnen sagen: „Hey, mach das!" oder „Hier ist eine Frage!". Sie wussten nichts davon, was du vorher gemacht hast, worüber du gestresst warst oder welche Gewohnheiten du hast. Sie sahen nur den Moment, in dem du mit ihnen sprichst.

Die Forscher von Stanford wollen das ändern. Sie bauen einen Assistenten, der proaktiv ist. Das bedeutet: Er weiß, was du als Nächstes tun wirst, bevor du es tust. Er kennt dich so gut, dass er dir hilft, noch bevor du überhaupt merkst, dass du Hilfe brauchst.

Das Problem: Zu viele Daten, zu wenig Zeit

Um so einen Assistenten zu bauen, braucht man Daten. Aber nicht nur ein paar Sätze, die du getippt hast. Man braucht zu sehen, wie du deinen ganzen Tag verbringst: Welche Apps du öffnest, welche Bilder du ansiehst, worauf du klickst.

Das Problem: Niemand möchte stundenlang aufschreiben, was er tut. Das wäre wie ein Tagebuch, das man jede Minute führt – viel zu anstrengend.

Die Lösung 1: Der unsichtbare Beobachter (NAPsack)

Die Forscher haben ein Werkzeug namens NAPsack entwickelt. Stell dir das wie einen sehr aufmerksamen, aber unauffälligen Fotografen vor, der auf deinem Handy oder Computer sitzt.

• Wie es funktioniert: Er macht nicht ständig Fotos (das wäre zu viel Speicherplatz). Er macht nur dann ein Foto, wenn du etwas tust (z. B. einen Klick machst oder eine Taste drückst).
• Der Trick: Ein künstliches Intelligenz-Modell (ein „VLM") schaut sich diese Fotos an und schreibt automatisch einen kurzen Satz dazu: „Omar hat die E-Mail geöffnet und dann auf den Anhang geklickt."
• Das Ergebnis: Sie haben so über 1.800 Stunden Bildschirmzeit von 20 Menschen gesammelt und automatisch in eine riesige Bibliothek von „Was hat er gerade gemacht?"-Sätzen verwandelt. Alles passiv, ohne dass die Nutzer etwas tun mussten.

Die Lösung 2: Der Detektiv mit Gedächtnis (LongNAP)

Jetzt haben sie die Daten, aber wie lernt die KI daraus? Ein normales KI-Modell hat ein kurzes Arbeitsgedächtnis. Wenn du ihr sagst: „Ich habe vor drei Tagen ein Meeting gehabt", vergisst sie das oft, weil sie nur den aktuellen Text im Kopf hat.

Ihre neue KI, LongNAP, funktioniert wie ein erfahrener Detektiv mit einem riesigen Aktenordner.

1. Der Fall: Die KI sieht, was du gerade machst (z. B. du hast eine E-Mail mit einer schwierigen Aufgabe erhalten).
2. Die Akte: Statt alles im Kopf zu behalten, schaut sie in ihren Aktenordner (ihre Erinnerung). Sie sucht nach ähnlichen Situationen aus der Vergangenheit.
   • Beispiel: „Ah, letztes Mal, als Omar so eine E-Mail bekam, hat er erst die Ergebnisse geprüft und dann seinen Kollegen auf Slack geschrieben."
3. Die Vorhersage: Basierend auf dieser alten Akte und dem aktuellen Bild sagt sie voraus: „Omar wird wahrscheinlich jetzt Slack öffnen und eine Nachricht schreiben."

Das Besondere: Die KI lernt nicht nur aus ihren Gewichten (wie ein Gehirn, das Dinge auswendig lernt), sondern sie sucht aktiv in ihrer Vergangenheit nach Mustern, die gerade passen. Sie nutzt also ihr „Langzeitgedächtnis", um den aktuellen Moment zu verstehen.

Was haben sie herausgefunden?

Die Ergebnisse sind beeindruckend:

• Besser als die Konkurrenz: Wenn man LongNAP auf eine einzelne Person trainiert, ist sie viel besser darin, vorherzusagen, was diese Person als Nächstes tut, als herkömmliche KI-Modelle (die nur auf Befehle warten) oder Modelle, die einfach nur „aus dem Bauch heraus" raten.
• Die Trefferquote: Da das Leben chaotisch ist, kann die KI nicht alles richtig vorhersagen. Aber: Wenn sie sich zu 100% sicher ist, trifft sie in 26 % der Fälle genau das Richtige. Das ist für so eine komplexe Aufgabe (tausende Möglichkeiten!) ein riesiger Erfolg.
• Lernen von anderen: Wenn man die KI mit vielen verschiedenen Menschen trainiert, kann sie auch neue Leute verstehen, die sie noch nie gesehen hat. Sie lernt allgemeine menschliche Muster.

Warum ist das wichtig?

Stell dir vor, dein Handy weiß, dass du jeden Dienstagabend müde bist und gerne eine Serie startest. Anstatt dass du erst die App suchen musst, schlägt die KI dir vielleicht schon vor: „Möchtest du die neue Folge von X starten?" Oder sie weiß, dass du immer vergisst, den Bus zu nehmen, und schickt dir eine Erinnerung, bevor du überhaupt an den Bus denkst.

Das ist der Unterschied zwischen einem Werkzeug (das wartet, bis du es benutzt) und einem Partner (der mitdenkt).

Ein kleiner Warnhinweis (Privatsphäre)

Natürlich ist das ein zweischneidiges Schwert. Damit die KI so gut ist, muss sie alles über dich sehen. Das ist sehr privat. Die Forscher betonen, dass solche Systeme idealerweise lokal auf deinem Gerät laufen sollten, damit niemand deine Daten ausspioniert. Es ist wie ein Diener, der nur in deinem Haus arbeitet und nichts nach draußen bringt.

Fazit

Die Forscher haben gezeigt, dass es möglich ist, eine KI zu bauen, die nicht nur auf Befehle reagiert, sondern die ganze Geschichte deines digitalen Lebens versteht, um vorherzusagen, was du als Nächstes tun wirst. Sie haben den Weg geebnet für Assistenten, die uns wirklich verstehen – nicht nur das, was wir sagen, sondern das, was wir tun.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Preprints „Learning Next Action Predictors from Human-Computer Interaction" auf Deutsch:

1. Problemstellung: Next Action Prediction (NAP)

Das zentrale Ziel der Arbeit ist die Entwicklung von KI-Systemen, die proaktiv handeln können, indem sie vorhersagen, was ein Nutzer als Nächstes tun wird. Aktuelle Sprachmodelle sind jedoch stark eingeschränkt: Sie sehen den Nutzer nur durch den „Schlüsselloch-Effekt" ihrer Prompts und kennen weder den Kontext, der zu diesen Prompts führte, noch die allgemeinen Verhaltensmuster des Nutzers.

Die Autoren formalisieren diese Aufgabe als Next Action Prediction (NAP):

• Eingabe: Eine zeitliche Sequenz multimodaler Interaktionen eines Nutzers mit einem Computer (Screenshots, Tastatureingaben, Mausklicks, Sensor-Daten).
• Ausgabe: Die Vorhersage der nächsten Aktionen des Nutzers.
• Herausforderung: Der Raum möglicher zukünftiger Aktionen ist unbeschränkt (Tausende von Möglichkeiten). Zudem sind die Daten longitudinal (über lange Zeiträume) und multimodal, was eine reine Gewichts-basierte Anpassung (Fine-Tuning) oder das reine Einlesen des Kontexts (In-Context Learning) aufgrund von Kontextlängenbeschränkungen und mangelnder Flexibilität erschwert.

2. Methodik

Die Arbeit adressiert das Problem in zwei Hauptphasen: Datensammlung und Modellarchitektur.

A. Datensammlung und Annotation: NAPsack

Da manuelle Annotation von Nutzeraktivitäten unpraktisch und teuer ist, stellen die Autoren NAPsack vor, eine Pipeline zur passiven Datenerfassung und Annotation.

• Datenerfassung: NAPsack zeichnet kontinuierlich Screenshots und I/O-Ereignisse (Maus, Tastatur) auf.
• Kompression: Anstatt alle Frames zu speichern, werden nur „Bursts" (Gruppen von aufeinanderfolgenden Interaktionen) erfasst, die durch Screenshots vor und nach der Interaktion kontextualisiert werden. Dies reduziert den Speicherbedarf um ca. 70 %.
• Annotation mit VLMs: Ein Vision-Language-Model (VLM) analysiert die Screenshots und I/O-Daten, um diese in natürliche Sprachbeschreibungen höherer Ebene zu übersetzen (z. B. „Klickte auf den 'Downloads'-Ordner").
• Datensatz: Es wurde ein Datensatz von 20 Nutzern über einen Monat hinweg erstellt, der 360.000 Aktionen und 1.800 Stunden Bildschirmzeit umfasst (basierend auf dem Screenomics-Projekt).

B. Modellarchitektur: LongNAP

Um über lange Interaktionshistorien zu reasoningen, ohne den Kontextfenster-Limit zu sprengen, wurde LongNAP (Long-context Next Action Predictor) entwickelt. Das Modell kombiniert parametrisches Lernen mit In-Context-Learning und Retrieval.

• Zwei-Phasen-Prozess:
  1. Reasoning to Retrieve: Das Modell generiert zunächst einen „Reasoning Trace" (Gedankengang) basierend auf dem aktuellen Kontext. Dieser Trace dient als semantische Abfrage, um relevante vergangene Beobachtungen und Reasoning-Traces aus einem externen Gedächtnis (Memory) abzurufen (mittels eines lexikalischen Retrievers wie BM25).
  2. Reasoning to Predict: Das Modell integriert die abgerufenen historischen Spuren, verfeinert seinen Gedankengang und generiert die Vorhersage für die nächsten Aktionen.
• Training: Das Modell wird End-to-End mittels Policy Gradient Methods (speziell GRPO - Group Relative Policy Optimization) trainiert.
• Reward-Signal: Da die wahren zukünftigen Aktionen bekannt sind (man kann warten, was der Nutzer tut), wird ein LLM-as-a-Judge verwendet. Dieser bewertet die semantische Ähnlichkeit zwischen der vorhergesagten Trajektorie und der tatsächlichen Ground-Truth-Aktion (Skala 0–1).
• Gedächtnis-Update: Erfolgreiche Vorhersagen und deren Reasoning-Traces werden zurück in die Gedächtnisbibliothek gespeichert, um das System kontinuierlich zu verbessern.

3. Schlüsselbeiträge

1. NAPsack (Pipeline): Ein Open-Source-Paket zur passiven, skalierbaren Erfassung und Annotation von natürlichen Computer-Nutzungsdaten mittels VLMs, ohne aktiven Aufwand der Nutzer.
2. LongNAP (Modell): Ein neues Modell, das durch Retrieval von historischen Reasoning-Traces in der Lage ist, über lange, multimodale Kontexte hinweg zu reasoningen und zukünftige Aktionen vorherzusagen.
3. Datensatz: Ein annotierter Datensatz von 360K Aktionen aus 1.800 Stunden Bildschirmzeit von 20 Nutzern.
4. Evaluation: Eine umfassende Evaluierung, die zeigt, dass proaktive Vorhersagen aus dem vollen Nutzungskontext machbar sind.

4. Ergebnisse

Die Evaluation verglich LongNAP mit Baselines wie Supervised Fine-Tuning (SFT), Zero-Shot-Prompting und Few-Shot-RAG auf Modellen wie Qwen-2.5-VL-7B und Gemini 3.0 Flash.

• Einzelner Nutzer (Personalisiert):
  • LongNAP übertrifft SFT um 79 % und Prompting-Baselines um 39 % (gemessen an der LLM-Judge-Ähnlichkeit).
  • Die menschliche Bewertung (Win-Rate) bestätigte dies: LongNAP gewann in 79 % der Vergleiche gegen andere Methoden.
• Generalisierung auf neue Nutzer:
  • Wenn LongNAP auf vielen Nutzern trainiert wird, generalisiert es moderat auf neue, ungesehene Nutzer (Verbesserung von ca. 13–19 % gegenüber Baselines).
• Genauigkeit:
  • Trotz des riesigen Aktionsraums liegen 17,1 % der vorhergesagten Trajektorien gut mit dem tatsächlichen Verhalten überein (Score ≥ 0,5).
  • Bei Filterung nach hochkonfidenten Vorhersagen steigt dieser Wert auf 26 %.
• Ablationsstudien:
  • Das Entfernen des Reasoning-Teils oder des Retrievers führt zu signifikanten Leistungseinbußen (ca. 15–19 %).
  • Die zeitliche Reihenfolge der Trainingsdaten ist wichtig; das Mischen der Daten verschlechtert die Ergebnisse.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Die Arbeit zeigt, dass KI-Systeme nicht nur auf Prompts, sondern auf dem gesamten Kontext des Nutzerverhaltens (Screenshots, Aktionen) trainiert werden können, um echte Proaktivität zu erreichen.
• Privatsphäre: Da die Daten sensibel sind, wird ein Ansatz verfolgt, bei dem die Inferenz und das Training lokal oder auf gesicherten Infrastrukturen stattfinden können. Die Architektur erlaubt es, Gedächtnis und Reasoning lokal zu halten.
• Anwendungen:
  • Proaktive Assistenten: Systeme, die Aufgaben automatisch abschließen, bevor der Nutzer sie explizit anfordert (z. B. „SleepWalk"-Demo).
  • Online-Lernen: Das Konzept von „powerNAP", bei dem das Modell kontinuierlich aus neuen Interaktionsdaten lernt, ohne dass Daten offline gespeichert werden müssen.
• Herausforderungen: Es bestehen noch Limitationen bezüglich der „Sim-to-Real"-Lücke bei der Annotation durch VLMs und ethische Fragen zur Ausrichtung (Alignment), da ein Modell, das genau vorhersagt, was ein Nutzer tut, auch dessen Prokrastination oder schädliche Gewohnheiten verstärken könnte.

Zusammenfassend demonstriert das Paper, dass das Lernen aus dem vollständigen Kontext des Nutzerverhaltens zur Vorhersage zukünftiger Bedürfnisse ein machbarer und vielversprechender Weg für die Entwicklung wirklich kontextbewusster KI ist.