SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
Das Paper stellt SocialPersona vor, einen multimodalen Benchmark, der aus den longitudinalen Social-Media-Zeitlinien von 171 Nutzern abgeleitet wurde, um die Fähigkeit großer Sprachmodelle zu bewerten, offenlegte Präferenzen zu inferieren und personalisierte Antworten zu generieren, wobei aufgezeigt wird, dass Modelle zwar breite Interessen identifizieren können, jedoch Schwierigkeiten mit feingliedrigen Details, aktuellen Aktualisierungen und der Anwendung dieser Erkenntnisse auf den Dialog haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einen neuen Freund kennenlernen. Sie haben zwei Möglichkeiten, dies zu tun:
- Der „Gedächtnistest“: Sie fragen ihn: „Was magst du?“ und er antwortet: „Ich liebe Wandern.“ Sie merken sich das, und wenn Sie das nächste Mal einen Ausflug planen, schlagen Sie eine Wanderung vor.
- Die „Detektivarbeit“: Sie fragen ihn nicht direkt. Stattdessen durchforsten Sie seine alten Fotoalben, lesen seine Tagebucheinträge und prüfen seine Social-Media-Beiträge der letzten zwei Jahre. Sie müssen das, was er liebt, allein durch das Zusammensetzen von Hinweisen wie einem Foto eines Zeltes, einem Text über einen neuen Wanderweg oder einem Bild eines Lagerfeuers herausfinden.
Dieses Paper, SocialPersona, handelt von dieser zweiten Methode. Es stellt eine große Frage: Können KI-Assistenten klug genug werden, um die „Detektivarbeit“ eigenständig zu leisten?
Das Problem: KI ist gut im Merken, aber schlecht im Ergründen
Derzeit sind die meisten KI-Assistenten wie Schüler, die großartig darin sind, Fakten auswendig zu lernen, aber schrecklich darin, zwischen den Zeilen zu lesen. Wenn Sie einer KI sagen: „Ich mag Camping“, merkt sie sich das. Aber wenn Sie es ihr nie explizit sagen und sie stattdessen nur Ihre alten Social-Media-Posts sieht – kann sie dann herausfinden, dass Sie gerne campen?
Die Autoren haben einen neuen Test namens SocialPersona entwickelt, um zu sehen, ob eine KI diese Detektivarbeit leisten kann. Sie haben echte, langfristige Social-Media-Zeitlinien von 171 ganz normalen Menschen gesammelt (keine Prominenten oder Marken). Diese Zeitlinien bestehen aus einer Mischung aus Text, Fotos und Daten.
Der Test: Zwei Herausforderungen
Das Paper stellt die KI vor zwei spezifische Herausforderungen:
- Der Profil-Ersteller: Die KI betrachtet die gesamte Social-Media-Historie einer Person und muss ein „Nutzerprofil“ schreiben. Sie muss dabei zwischen stabilen Interessen (Dinge, die sie schon seit Jahren lieben, wie „Ich liebe Hunde“) und aktuellen Interessen (Dinge, mit denen sie erst seit letztem Monat angefangen haben, wie „Ich probiere gerade Kajakfahren aus“) unterscheiden.
- Der Gesprächspartner: Die KI muss dann mit dem Nutzer chatten. Wenn der Nutzer fragt: „Was soll ich dieses Wochenende machen?“, sollte die KI dieses Profil nutzen, um eine personalisierte Antwort zu geben (z. B. „Du liebst in letzter Zeit das Kajakfahren sehr, vielleicht versuchst du es mal mit einem Flussausflug“ statt nur „Geh spazieren gehen“).
Die Ergebnisse: Die KI ist noch eine unerfahrene Detektivin
Die Forscher haben viele verschiedene KI-Modelle getestet (sowohl bekannte kommerzielle als auch Open-Source-Modelle). Hier ist das, was sie herausgefunden haben, unter Verwendung einiger einfacher Metaphern:
Die „verschwommene Linse“ (Überverallgemeinerung):
Die KI ist wie ein Fotograf mit einer sehr verschwommenen Linse. Wenn ein Nutzer über „Wandern“, „Klettern“ und „Camping“ postet, sieht die KI nicht drei unterschiedliche Hobbys. Sie sieht nur einen großen, vagen Klumpen namens „Outdoor“. Sie übersieht die spezifischen Details, die eine Empfehlung wirklich persönlich machen würden. Es ist wie ein Kellner, der, anstatt zu fragen, ob Sie Steak oder Hühnchen möchten, einfach sagt: „Hier ist etwas Fleisch.“Der „Visuelle Bias“ (Modalitäts-Asymmetrie):
Die KI ist stark darauf fixiert, was sie sehen kann. Wenn ein Nutzer ein klares Foto seiner Katze postet, weiß die KI sofort: „Sie lieben Katzen!“ Aber wenn ein Nutzer einen langen Text über seine Liebe zu Jazzmusik schreibt, aber nie ein Bild einer Schallplatte postet, übersieht die KI dies oft komplett. Es ist wie ein Detektiv, der Beweise nur glaubt, wenn sie in großen, fetten Buchstaben geschrieben sind, und die subtilen Flüstern im Text ignoriert.Die „Verwirrung des Zeitreisenden“ (Temporale Blindheit):
Die KI hat Schwierigkeiten, Zeit zu verstehen. Sie hat Mühe, den Unterschied zwischen einem Hobby, das jemand schon seit fünf Jahren hat, und einem Hobby, das er erst letzte Woche entdeckt hat, zu erkennen. Sie neigt dazu, alles in „stabile Interessen“ zusammenzufassen und verpasst dabei die Begeisterung für das, womit der Nutzer aktuell besessen ist. Es ist wie ein Freund, der Ihnen ständig vorschlägt, eine Serie zu schauen, die Sie 2010 geliebt haben, obwohl Sie seit gestern über eine neue Serie sprechen.Die „Unterbrochene Kette“ (Dialog-Fehlgeschlagene):
Wenn die KI versucht, ihr unvollkommenes Profil für einen Chat zu nutzen, leidet das Gespräch darunter. Da das Profil zu vage war oder aktuelle Interessen fehlte, wirken die Vorschläge der KI generisch oder deplatziert. Es ist, als würde man versuchen, ein Haus auf einem wackeligen Fundament zu bauen; die Wände (das Gespräch) enden krumm.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, soziale Medien zu lesen, aber noch ein langer Weg vor ihr liegt, um die menschliche Persönlichkeit wirklich zu verstehen. Sie kann die offensichtlichen, groben Interessen erkennen, aber sie scheitert an den feinen Details, den kürzlichen Veränderungen und den textbasierten Hinweisen, die eine Empfehlung wirklich „menschlich“ wirken lassen.
SocialPersona ist nun ein Werkzeug für Forscher, um genau zu messen, wie weit die KI noch entfernt ist, bevor sie ein wirklich personalisierter Assistent sein kann, der uns besser kennt als wir uns selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.