💬 NLP

Beyond Isolated Behaviors: Hierarchical User Modeling for LLM Personalization

Dieses Paper stellt PHF vor, ein soziologisch fundiertes Framework, das von Bourdieus Theorie der Praxis inspiriert ist und die Personalisierung von LLMs durch die Modellierung von Nutzerdaten mittels einer hierarchischen Struktur aus Praktiken, Habitus und Feldern verbessert, wodurch konsistente Leistungssteigerungen im LaMP-Benchmark erzielt werden.

Ursprüngliche Autoren: Liang Wang, Xinyi Mou, Xiaoyou Liu, Tiannan Wang, Yuqing Wang, Zhongyu Wei

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Liang Wang, Xinyi Mou, Xiaoyou Liu, Tiannan Wang, Yuqing Wang, Zhongyu Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber etwas generischen KI-Assistenten zu vermitteln, wer Sie eigentlich sind. Momentan funktioniert die meiste Personalisierung durch KI wie ein Scrapbook aus isolierten Momenten. Wenn Ihnen letztes Jahr ein Harry-Potter-Buch gefallen hat und letzten Monat ein Avengers-Film, sieht die KI lediglich zwei separate Fakten: „Nutzer mochte Harry Potter“ und „Nutzer mochte Avengers“. Sie versteht nicht wirklich die Geschichte Ihres Geschmacks oder wie sich Ihre Interessen entwickelt haben.

Dieses Paper schlägt eine neue Art des Denkens über Personalisierung vor, genannt PHF (Practice-Habitus-Field / Praxis-Habitus-Feld). Es nutzt Ideen des berühmten Soziologen Pierre Bourdieu, um das Nutzerverhalten in drei Schichten zu organisieren, ähnlich wie ein Set russischer Matroschka-Puppen.

So funktionieren die drei Schichten, erklärt mit einfachen Analogien:

1. Practice (Die einzelne Handlung)

Die Analogie: Denken Sie an einen einzelnen Fußabdruck im Sand.

Was es ist: Jedes Mal, wenn Sie auf einen Link klicken, einen Film bewerten oder eine Frage stellen, ist das eine „Practice“.
Das Problem: Fußabdrücke werden von der Gezeiten (Rauschen) weggespült oder sehen je nach Blickwinkel unterschiedlich aus. Wenn die KI nur auf einen Fußabdruck schaut, könnte sie denken, dass Sie „Sand“ mögen, weil Sie einmal am Strand spazieren gegangen sind, obwohl Sie den Strand eigentlich hassen.
Die Lösung: Das System des Papers, PHFCompass, fungiert als Geräuschfilter. Es betrachtet Ihre einzelne Handlung und fragt: „Was ist das Wesen dessen?“ Es verwandelt eine chaotische, spezifische Handlung in eine saubere, klare „semantische ID“ (wie einen Barcode), die die wahre Absicht repräsentiert und den oberflächlichen Unfug ignoriert.

2. Habitus (Ihr persönlicher Stil)

Die Analogie: Denken Sie an Ihr Muskelgedächtnis oder Ihre Persönlichkeit.

Was es ist: Wenn Sie ein Jahr lang jeden Tag Fußabdrücke hinterlassen, bilden diese einen Pfad. Dieser Pfad ist Ihr „Habitus“. Es ist nicht nur eine Liste dessen, was Sie getan haben; es ist Ihre stabile Tendenz. Es erfasst, dass Sie früher Fantasy-Bücher geliebt haben, sich aber langsam in Richtung Superheldengeschichten entwickelt haben.
Wie es funktioniert: Das System nimmt all diese bereinigten „Practices“ und verschmilzt sie über die Zeit hinweg. Es gibt dem, was Sie kürzlich getan haben, mehr Gewicht (da sich Ihr Geschmack ändert), behält aber gleichzeitig das langfristige Muster bei. Dies erstellt ein „Nutzerprofil“, das sich wie eine echte Person mit einer Geschichte anfühlt, nicht wie eine bloße Liste von Datenpunkten.

3. Field (Der Stamm/Das Feld)

Die Analogie: Denken Sie daran, einem Club oder einer Nachbarschaft beizutreten.

Was es ist: Auch wenn Sie einzigartig sind, teilen Sie Gewohnheiten mit anderen. Wenn Sie und 100 andere Menschen alle einen „Habitus“ haben, der Science-Fiction liebt und Horror hasst, gehören Sie zum selben „Field“.
Warum das hilft: Manchmal haben Sie nicht genug Historie, damit die KI Sie versteht (vielleicht sind Sie neu oder sehr ruhig). Aber wenn die KI weiß, dass Sie zum „Science-Fiction-Field“ gehören, kann sie Erkenntnisse von allen anderen in diesem Club ausleihen, um zu erraten, was Ihnen gefallen könnte. Es ist wie zu sagen: „Ich kenne Ihren spezifischen Geschmack noch nicht, aber da Sie in dieser Gruppe unterwegs sind, zeige ich Ihnen, was diese Gruppe normalerweise genießt.“

Wie alles zusammenpasst

Das Paper führt ein Werkzeug namens PHFCompass ein, um dieses System aufzubauen. Es erfordert nicht das erneute Trainieren des riesigen KI-Modells (was teuer und langsam ist). Stattdessen fungiert es wie ein intelligenter Übersetzer, der vor der KI sitzt.

Es nimmt Ihre rohe Historie und verwandelt sie in saubere Practices.
Es verschmilzt diese zu Ihrem persönlichen Habitus.
Es findet Ihr Field (Ihren Stamm) basierend darauf, wer Ihnen ähnlich ist.
Es speist alle drei Schichten gleichzeitig in die KI ein.

Das Ergebnis:
Wenn Sie die KI eine Frage stellen, sieht sie nicht nur „Nutzer fragte nach X“. Sie sieht:

„Dies ist ein Nutzer, der die langfristige Gewohnheit hat, X zu mögen (Habitus).“
„Dieser Nutzer gehört zu einer Gruppe, die im Allgemeinen Y bevorzugt (Field).“
„Hier ist die spezifische, rauschfreie Absicht dieser Frage (Practice).“

Was das Paper herausgefunden hat

Die Autoren testeten dies auf einem Benchmark namens LaMP (der Aufgaben wie das Schreiben von Schlagzeilen, das Taggen von Filmen oder das Bewerten von Produkten umfasst).

Das Ergebnis: Ihre Methode (PHFCompass) war den alten Methoden konsistent überlegen.
Warum: Die alten Methoden waren wie der Blick auf einen Haufen Ziegelsteine (flache Daten). PHFCompass baute ein Haus (hierarchische Struktur). Es zeigte, dass das Verständnis dafür, wie Verhaltensweisen über die Zeit miteinander verknüpft sind (Habitus) und zu wem man ähnlich ist (Field), die KI viel besser darin macht, zu erraten, was man möchte.

Kurz gesagt: Das Paper argumentiert, dass wir aufhören müssen, Nutzer als eine Liste zufälliger Klicks zu behandeln, und stattdessen anfangen müssen, sie als Menschen mit einer Geschichte, einem Stil und einer Gemeinschaft zu betrachten, um KI wirklich zu personalisieren.

Technisches Resümee: Jenseits isolierter Verhaltensweisen: Hierarchische Benutzermodellierung für die LLM-Personalisierung

Problemstellung

Trotz der bemerkenswerten Fähigkeiten von Large Language Models (LLMs) über verschiedene Domänen hinweg bleibt die Personalisierung ihrer Ausgaben auf den einzelnen Benutzer eine erhebliche Herausforderung. Bestehende Ansätze verfolgen vorwiegend ein flaches Verhaltensparadigma, das Benutzerinteraktionen als eine ungeordnete Sammlung isolierter Instanzen behandelt. Diese Formulierung führt zu zwei kritischen Einschränkungen:

Verhaltensfragmentierung: Die individuellen Benutzerhistorien weisen keine interne Struktur auf und versäumen es, isolierte Verhaltensweisen zu stabilen, langfristigen Mustern zu konsolidieren.
Benutzerisolation: Benutzer werden unabhängig voneoneinander modelliert, wodurch gemeinsame Verhaltensregelmäßigkeiten unter Benutzern mit ähnlichen Profilen ignoriert werden. Dies schränkt die Generalisierung ein, insbesondere in Szenarien mit spärlicher Benutzerhistorie.

Das Paper argumentiert, dass effektive Personalisierung eine strukturierte Sichtweise erfordert, die sowohl modelliert, wie sich Verhaltensweisen innerhalb eines Individuums konsolidieren, als auch, wie Regelmäßigkeiten innerhalb einer Benutzerpopulation geteilt werden.

Methodik: Das PHF-Framework

In Anlehnung an Pierre Bourdieus Theorie der Praxis schlagen die Autoren PHF (Practice-Habitus-Field) vor, ein soziologisch fundiertes, hierarchisches Framework für die LLM-Personalisierung. Dieses Framework konzeptualisiert das Benutzerverhalten über drei Ebenen hinweg:

Praxis (Practice): Individuelle, episodische Verhaltensweisen (z. B. ein einzelnes Anfrage-Antwort-Paar).
Habitus: Die zeitliche Akkumulation von Praktiken zu stabilen, langfristigen Verhaltensdispositionen, die für einen Benutzer einzigartig sind.
Feld (Field): Gemeinsame Verhaltensregelmäßigkeiten und kollektive Muster unter Benutzern mit ähnlichen Dispositionen.

PHFCompass Implementierung

Um PHF zu instanziieren, entwickelten die Autoren PHFCompass, eine leichtgewichtige, modellagnostische Architektur, die auf einem eingefrorenen (frozen) LLM operiert. Das System funktioniert durch vier Schlüsselstadien:

Rauschfreier Extraktion der Praxis (Semantische Quantisierung):
Rohe Benutzerverhaltensweisen werden kodiert und einer mehrstufigen residualen Vektorquantisierung unterzogen. Dieser Prozess abstrahiert kontinuierliche Interaktionen in diskrete Semantische IDs (Prototypen). Durch die Abbildung von Verhaltensweisen mit unterschiedlichen Oberflächenformen, aber ähnlichen Intentionen auf gemeinsame Prototypen, filtert das System oberflächliches Rauschen heraus, während die Kernsemantik des Verhaltens bewahrt wird.
Habitus-Konstruktion (Temporale Aggregation):
Die Sequenz der rauschfreien Praxisrepräsentationen eines Benutzers wird über die Zeit mittels eines Time Fusioner aggregiert. Um den Recency-Effekt zu berücksichtigen, ohne dass jüngste Verhaltensweisen dominieren, verwendet das Modell ein zeitlich gewichtetes Aggregationsschema mittels Quadratwurzel-Skalierung. Dies resultiert in einem Habitus-Embedding, das die stabile, langfristige Verhaltensdisposition des Benutzers kodiert.
Feldbildung (Kollaborative Clusterbildung):
Benutzer werden basierend auf ihren Habitus-Embeddings in latente Felder organisiert. Unter Verwendung von K-Means-Clustering werden Benutzer mit ähnlichen langfristigen Dispositionen gruppiert. Jedes Cluster-Zentroid dient als Feld-Embedding, das kollektive Verhaltensregelmäßigkeiten erfasst. Dies ermöglicht es Benutzern, von gemeinsamen Signalen zu profitieren, was insbesondere in Cold-Start- oder Sparse-History-Szenarien hilft.
Hierarchische Generierung:
Während der Inferenz wird das LLM auf eine vereinheitlichte Eingabesequenz konditioniert, die aus dem Habitus-Embedding (individuelle Disposition), dem Feld-Embedding (kollektives Muster) und dem aktuellen Query-Embedding besteht. Es werden nur leichte Projektionsschichten trainiert, während das zugrunde liegende LLM eingefroren bleibt.

Zentrale Beiträge

Theoretisches Framework: Der Vorschlag von PHF, ein vereinheitlichtes hierarchisches Modell, das die individuelle Verhaltensbildung (Praxis $\to$ Habitus) mit strukturellen Regelmäßigkeiten über Benutzer hinweg (Feld) integriert und in der soziologischen Theorie verwurzelt ist.
PHFCompass Architektur: Eine konkrete, leichtgewichtige Implementierung von PHF, die diese Konzepte durch residueale Verhaltensabstraktion, temporale Aggregation und kollaborative Clusterbildung operationalisiert, ohne Modifikationen am Basis-LLM zu erfordern.
Empirische Validierung: Umfangreiche Experimente, die zeigen, dass die hierarchische Modellierung der Verhaltensstruktur flache Aggregations- und retrievalbasierte Baselines übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten PHFCompass auf dem Language Model Personalization (LaMP) Benchmark, der sechs Aufgaben abdeckt (drei Klassifikations-, drei Generationsaufgaben).

Leistung: PHFCompass erzielte über alle Aufgaben hinweg konsistente State-of-the-Art-Verbesserungen im Vergleich zu starken Baselines, einschließlich retrievalbasierter Methoden (BM25, Dense), aggregationsbasierter Methoden (OPPU, PPlug) und Zero-Shot-Modellen.
- In Klassifikationsaufgaben (LaMP-1 bis 3) zeigte das Modell erhebliche Gewinne, was auf die Komponente des Feldes zurückzuführen ist, die spärliche individuelle Historien kompensiert.
- In Generationsaufgaben (LaMP-4, 5, 7) behielt das Modell eine kompetitive Leistung bei, begünstigt durch eine robuste Praxis- und Habitus-Modellierung.
Ablationsstudien:
- Das Entfernen der Habitus-Komponente verursachte den größten Leistungsabfall, was bestätigt, dass die feingliedrige individuelle Verhaltensrepräsentation fundamental ist.
- Das Entfernen der Feld-Komponente führte zu moderaten Rückgängen, insbesondere in der Klassifikation, was die Nützlichkeit kollaborativer Signale validiert.
- Das Ersetzen der temporalen Gewichtung durch gleichmäßige Mittelwertbildung sowie das Entfernen der residualen Quantisierung führten beide zu Leistungsabfällen, was die Bedeutung der temporalen Sensitivität und der Verhaltensabstraktion unterstreicht.
Erweiterbarkeit: Das Framework demonstrierte Robustheit über verschiedene Encoder-Decoder-Kombinationen hinweg (z. B. Contriever/Qwen, RoBERTa/LLaMA), was seinen modellagnostischen Charakter bestätigt.
Interpretierbarkeit: Analysen der Semantischen IDs zeigten, dass die hierarchische Quantisierung die benutzerspezifische Intention erfolgreich von geteilten semantischen Strukturen trennt, wobei spezifische Codes mit kohärenten thematischen Gruppen korrespondieren (z. B. Fantasy-Romance vs. Identitäts-fokussierte Romance).

Bedeutung und Ansprüche

Das Paper behauptet, dass PHF einen Paradigmenwechsel darstellt: weg von der Behandlung von Benutzerdaten als flache Sammlung von Instanzen, hin zur Modellierung als ein strukturiertes, hierarchisches System. Durch die explizite Erfassung der temporalen Kohärenz innerhalb des individuellen Verhaltens und der gemeinsamen Regelmäßigkeiten über Benutzer hinweg adressiert PHF die Fragmentierung und Isolation, die aktuellen Personalisierungsmethoden eigen ist.

Die Autoren betonen, dass ihr Ansatz eine vereinheitlichte Perspektive bietet, die sowohl interpretierbar (durch diskrete semantische Prototypen und Cluster-Felder) als auch erweiterbar (modellagnostisch) ist. Während die aktuelle Arbeit auf dem LaMP-Benchmark validiert wurde, wird das Framework als ein generalisierbarer Ansatz zur Organisation von Benutzerverhalten in der LLM-Personalisierung präsentiert, der eine soziologisch fundierte Alternative zu rein statistischen oder retrievalbasierten Methoden bietet.

Das Paper räumt Einschränkungen ein und merkt an, dass die Experimente derzeit auf englischsprachige Textaufgaben mit statischen Historien beschränkt sind und dass die spezifischen Implementierungen (z. B. K-Means für Felder) nur eine mögliche Instanziierung des breiteren PHF-Konzepts darstellen.