EdgeWisePersona: A Dataset for On-Device User Profiling from Natural Language Interactions

Stel je een huis voor dat je niet alleen kent door de opdrachten die je geeft, maar door het ritme van je leven. Het begrijpt dat je de lichten gedimd en de lucht koel wilt hebben wanneer de zon op een regenachtige avond ondergaat, of dat je het volume van de televisie alleen harder zet wanneer je alleen bent. Om dit soort intelligentie te laten werken, moet een apparaat een gedetailleerd portret van zijn eigenaar opbouren, door jarenlang te leren van gesprekken en gewoonten. De uitdaging ligt in de vraag waar dit leren plaatsvindt. Jarenlang hebben slimme apparaten vertrouwd op enorme, verre computerservers in de cloud om deze patronen te verwerken. Deze aanpak werkt goed, maar het stuurt gevoelige persoonlijke gegevens over het internet, wat privacyrisico's en vertragingen met zich meebrengt. De nieuwe grens van kunstmatige intelligentie streeft ernaar om deze denkkracht rechtstreeks naar het apparaat zelf te verplaatsen—de telefoon, de tablet of de speaker in je woonkamer. Deze verschuiving belooft directe reacties en totale privacy, maar brengt een enorme hindernis met zich mee: de kleine chips in deze apparaten zijn veel minder krachtig dan de gigantische servers die ze vervangen. De vraag waar onderzoekers nu voor staan, is of een piepkleine, efficiënte computer werkelijk de complexe gewoonten van een mens kan leren zonder hulp in te roepen van een gigantische server.

Een team van onderzoekers bij TCL Research Europe in Warschau heeft deze vraag aangepakt door een nieuwe testomgeving genaamd EdgeWisePersona te creëren. Ze bouwden een enorme collectie gesimuleerde gesprekken tussen mensen en hun slimme huissystemen, specifiek ontworpen om te zien of kleine, on-device computers kunnen achterhalen wie de gebruiker is door simpelweg te luisteren naar wat zij zeggen. De onderzoekers vertrouwden niet op echte wereldgegevens, die rommelig en inconsistent kunnen zijn. In plaats daarvan gebruikten ze een krachtige kunstmatige intelligentie om tienduizend verschillende gesprekken te genereren waarbij twee honderd verschillende fictieve gebruikers betrokken waren. Elke van deze gebruikers kreeg een geheim, gestructureerd "profiel" dat hun gewoonten definieerde. Deze profielen waren niet slechts eenvoudige voorkeuren zoals "ik houd van blauwe lampen." Het waren complexe sets regels, of routines, die specifieke situaties koppelden aan specifieke acties. Een gebruiker had bijvoorbeeld een routine die zegt: "Als het avond is, het weer regenachtig is en de temperatuur warm is, zet dan de lampen in de woonkamer op een warme kleur en zet de airconditioning op een specifieke lage snelheid." De onderzoekers voerden deze profielen vervolgens in de AI in om natuurlijke, vrije dialogen te genereren waarin gebruikers hun apparaten zouden vragen instellingen te wijzigen, vaak zonder de onderliggende regel expliciet te benoemen.

De kernopdracht van de studie was om te zien of een computer deze gesprekken kon analyseren en de verborgen regels kon terugontwerpen (reverse-engineer). De onderzoekers vroegen diverse modellen van kunstmatige intelligentie om de chatgeschiedenis te lezen en de routines van de gebruiker op te schrijven. Ze testten deze vaardigheid op twee soorten modellen: de gigantische, cloud-gebaseerde systemen die momenteel de meest geavanceerde AI aandrijven, en de kleinere, compacte modellen die ontworpen zijn voor mobiele telefoons en tablets. De resultaten waren duidelijk en onthullend. De grote, cloud-gebaseerde modellen waren opmerkelijk goed in de taak. Ze konden de gesprekken lezen en de complexe regels accuraat reconstrueren, waarbij ze de juiste tijd van de dag, weersomstandigheden en specifieke apparaatinstellingen met hoge precisie raadden. Ze begrepen de subtiele verbanden tussen een regenachtige avond en de wens voor een gezellige sfeer.

De kleinere modellen hadden het echter aanzienlijk moeilijk. Hoewel ze soms de algemene bedoeling van een gebruiker konden raden, slaagden ze er niet in om de precieze details te vatten die een slim huis werkelijk intelligent maken. Wanneer hen gevraagd werd om de exacte temperatuurinstelling of het specifieke volumeniveau dat een gebruiker prefereerde te voorspellen, zaten de kleine modellen er vaak flink naast. Ze waren beter in het raden van de brede categorie van een verzoek, zoals weten dat een gebruiker de lichten aan wilde, maar ze kregen de specifieke helderheid vaak niet goed. In veel gevallen konden de kleine modellen niet het onderscheid maken tussen een gebruiker die de airconditioning op "koel" versus "automatisch" wilde, of ze raadden de verkeerde dag van de week voor een routine. De kloof in prestaties was groot: de grote modellen konden het volledige gedragspatroon van een gebruiker met hoge nauwkeurigheid reconstrueren, terwijl de kleine modellen vaak gissingen produceerden die slechts gedeeltelijk correct of volkomen fout waren.

Deze prestatiekloof benadrukt een grote uitdaging voor de toekomst van privacygerichte technologie. De onderzoekers ontdekten dat hoewel kleine modellen enige capaciteit hebben om van gesprekken te leren, ze nog niet klaar zijn om de grote systemen te vervangen voor complexe taken zoals het begrijpen van menselijke gewoonten. De studie suggereert dat voor een apparaat om een gebruiker echt te kennen—weten hoe de lichten, de temperatuur en het geluid precies moeten worden aangepast op basis van een combinatie van weer, tijd en stemming—het momenteel de verwerkingskracht van een groot model nodig heeft. De kleine modellen zijn als studenten die een paar feiten kunnen onthouden, maar nog niet in staat zijn om de verbanden te leggen om een complex verhaal te begrijpen. De onderzoekers merkten op dat dit geen falen van het concept is, maar een beperking van de huidige technologie. De kleine modellen zijn in staat om op een telefoon te draaien, maar ze missen de diepgang om de ingewikkelde web van oorzaak en gevolg te begrijpen die een menselijke levensstijl definieert.

De studie keek ook naar de specifieke soorten informatie die de modellen moesten raden. Ze ontdekten dat het voorspellen van de "triggers" van een routine—zoals de tijd van de dag of het weer—makkelijker was voor de kleine modellen dan het voorspellen van de "acties", oftewel de specifieke wijzigingen die aan de apparaten worden gemaakt. Het was makkelijker voor een klein model om te raden dat een gebruiker in de avond de lichten aan wilde, dan om te raden dat de gebruiker de lichten op precies 40 procent helderheid wilde zetten. Dit suggereert dat hoewel kleine apparaten uiteindelijk eenvoudige commando's kunnen afhandelen, de genuanceerde controle die vereist is voor een werkelijk gepersonaliseerd huis voor nu nog buiten bereik blijft. De onderzoekers benadrukten dat hun werk een simulatie was, waarbij gebruik werd gemaakt van gegenereerde gegevens om de grenzen van deze modellen te testen. Ze hebben dit niet getest op echte mensen in echte huizen, dus de resultaten weerspiegelen hoe goed de modellen gestructureerde gegevens verwerken, en niet noodzakelijkerwijs hoe ze zouden functioneren in de chaotische realiteit van een bewoond huis.

Ondanks de beperkingen vormt de EdgeWisePersona-dataset een cruciale stap voorwaarts. Het biedt een duidelijke, gestructureerde manier om vooruitgang in dit veld te meten. Door exact te definiëren hoe een "routine" eruitziet en hoe deze gereconstrueerd moet worden, hebben de onderzoekers de wetenschappelijke gemeenschap een standaard liniaal gegeven om toekomstige verbeteringen te meten. Het werk laat zien dat de droom van een private, on-device intelligentie die je gewoonten leert, in theorie mogelijk is, maar dat de technologie er nog niet is. De kleine modellen moeten veel beter worden in het begrijpen van de subtiele details van menselijk gedrag voordat ze erop kunnen worden vertrouwd om een huis te beheren zonder een cloudverbinding. Tot die tijd blijft de meest accurate manier om een leven van een gebruiker te begrijpen, verbonden aan de grote, krachtige systemen in de cloud. De weg vooruit ligt in het dichten van de kloof tussen de kleine en de grote modellen, om ervoor te zorgen dat de privacy en snelheid van on-device computing niet ten koste gaan van de intelligentie die nodig is om een huis werkelijk persoonlijk te laten aanvoelen.