SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
Het artikel introduceert SocialPersona, een multimodale benchmark afgeleid van longitudinale sociale-mediatijdlijnen van 171 gebruikers om het vermogen van grote taalmodellen te evalueren om onthulde voorkeuren af te leiden en gepersonaliseerde reacties te genereren, waarbij wordt onthuld dat modellen weliswaar brede interesses kunnen identificeren, maar moeite hebben met fijnmazige details, recente updates en het toepassen van deze inzichten in dialoog.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een nieuwe vriend probeert te leren kennen. Je hebt twee manieren om dit te doen:
- De "Geheugentest": Je vraagt hen: "Waar hou je van?" en zij zeggen: "Ik hou van wandelen." Je onthoudt dit, en de volgende keer dat je een uitstapje plant, stel je een wandeling voor.
- Het "Detectivewerk": Je vraagt het niet direct aan hen. In plaats daarvan blader je door hun oude fotoalbums, lees je hun dagboekfragmenten en controleer je hun sociale mediaberichten van de afgelopen twee jaar. Je moet ontdekken waar ze van houden door aanwijzingen te verzamelen, zoals een foto van een tent, een tekst over een nieuw wandelpad, of een foto van een kampvuur.
Dit artikel, SocialPersona, gaat over de tweede methode. Het stelt een grote vraag: Kunnen AI-assistenten slim genoeg worden om het "Detectivewerk" zelfstandig te doen?
Het Probleem: AI is Goed in Geheugen, Slecht in Inzicht
Momenteel zijn de meeste AI-assistenten als studenten die geweldig zijn in het onthouden van feiten, maar slecht zijn in het lezen tussen de regels door. Als je tegen een AI zegt: "Ik hou van kamperen," onthoudt de AI dat. Maar als je het nooit vertelt, en de AI ziet alleen je oude sociale mediaberichten, kan de AI dan achterhalen dat je van kamperen houdt?
De auteurs hebben een nieuwe test gebouwd genaamd SocialPersona om te zien of AI dit kan. Ze verzamelden echte, langdurige sociale media-tijdlijnen van 171 gewone mensen (geen beroemdheden of merken). Deze tijdlijnen zijn een mix van tekst, foto's en data.
De Test: Twee Uitdagingen
Het artikel legt de AI twee specifieke uitdagingen voor:
- De Profielbouwer: De AI bekijkt de volledige sociale mediageschiedenis van een persoon en moet een "Gebruikersprofiel" schrijven. De AI moet hierbij onderscheid maken tussen Stabiele Interesses (dingen waar ze al jaren van houden, zoals "Ik hou van honden") en Recente Interesses (dingen die ze pas vorige maand zijn gaan doen, zoals "Ik ben aan het uitproberen om te kajakken").
- De Gesprekspartner: De AI moet vervolgens een gesprek voeren met de gebruiker. Als de gebruiker vraagt: "Wat kan ik dit weekend doen?", moet de AI deze informatie gebruiken om een gepersonaliseerd antwoord te geven (bijv. "Je bent de laatste tijd erg enthousiast over kajakken, dus misschien kun je een riviertocht maken," in plaats van alleen "Ga een stukje wandelen").
De Resultaten: De AI is Nog een Novice Detective
De onderzoekers hebben veel verschillende AI-modellen getest (zowel bekende commerciële als open-source modellen). Dit is wat zij vonden, gebruikmakend van enkele eenvoudige metaforen:
De "Wazige Lens" (Overgeneralisatie):
De AI is als een fotograaf met een zeer wazige lens. Als een gebruiker post over "wandelen", "klimmen" en "kamperen", ziet de AI niet drie afzonderlijke hobby's. Het ziet slechts één grote, vage vlek genaamd "Buitenleven". Het mist de specifieke details die een aanbeveling echt persoonlijk maken. Het is als een ober die, in plaats van te vragen of je biefstuk of kip wilt, gewoon zegt: "Hier is wat vlees."De "Visuele Bias" (Modaliteit-asymmetrie):
De AI is zwaar bevooroordeeld door wat hij kan zien. Als een gebruiker een duidelijke foto van hun kat plaatst, weet de AI direct: "Ze houden van katten!" Maar als een gebruiker een lange tekst schrijft over hun liefde voor jazzmuziek maar nooit een foto van een grammofoonplaat plaatst, mist de AI dit vaak volledig. Het is als een detective die alleen bewijs gelooft als het in grote, dikgedrukte letters is geschreven, en de subtiele fluisteringen in de tekst negeert.De "Tijdreizigersverwarring" (Temporele Blindheid):
De AI heeft moeite met het begrijpen van tijd. Het heeft moeite om het verschil te zien tussen een hobby die iemand vijf jaar heeft gehad en een hobby die iemand vorige week net heeft opgepakt. De AI heeft de neiging om alles onder "Stabiele Interesses" te scharen, waardoor de opwinding van waar de gebruiker op dit moment door geobsedeerd is, verloren gaat. Het is als een vriend die blijft voorstellen dat je een tv-serie kijkt waar je in 2010 van hield, terwijl je het de laatste tijd over een nieuwe serie hebt die je gisteren bent begonnen.De "Gebroken Keten" (Dialoogfout):
Wanneer de AI probeert het imperfecte profiel te gebruiken voor een gesprek, lijdt het gesprek eronder. Omdat het profiel te vaag was of recente interesses miste, voelen de suggesties van de AI generiek of misplaatst aan. Het is alsof je een huis probeert te bouwen op een zwakke fundering; de muren (het gesprek) eindigen scheef.
De Conclusie
Het artikel concludeert dat hoewel AI beter wordt in het lezen van sociale media, het nog een lange weg te gaan heeft om werkelijk menselijke persoonlijkheden te begrijpen. De AI kan de voor de hand liggende, grote interesses herkennen, maar worstelt met de fijne details, de recente veranderingen en de tekstuele aanwijzingen die een aanbeveling echt "menselijk" maken.
SocialPersona is nu een hulpmiddel voor onderzoekers om precies te meten hoe ver AI moet komen voordat het echt een gepersonaliseerde assistent kan zijn die ons beter kent dan wij onszelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.