Co-design of LLM-based preference agents: participation may drive overtrust
Dit artikel betoogt dat hoewel het gezamenlijk ontwerpen van op LLM gebaseerde voorkeuragenten met gebruikers de betrokkenheid en het vertrouwen bevordert, dit paradoxaal genoeg kan fungeren als een "oververtrouwensmotor" die de systematische mismatch maskeert tussen de homogene, abstracte reacties van de agenten en de genuanceerde voorkeuren van de mensen die zij vertegenwoordigen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een digitale tweeling van jezelf te bouwen—een robotversie die precies weet wat je leuk vindt, hoe je denkt en wat je zou kiezen als jij de leiding had. Dit is geen sciencefiction meer; het gebeurt nu met een type superintelligent computerprogramma dat een Large Language Model (LLM) wordt genoemd. Zie deze modellen als gigantische, hyper-lezende bibliotheken die bijna alles hebben verslonden wat ooit op internet is geschreven. Ze zijn zo goed in het nabootsen van menselijke gesprekken dat onderzoekers ze beginnen te gebruiken om in plaats van echte mensen deel te nemen aan studies, of zelfs om te fungeren als persoonlijke assistenten die beslissingen voor ons nemen. Maar hier is de grote vraag: Als je een computer vraagt om jou te imiteren, begrijpt hij je dan echt? Of geeft hij je een generieke, "gemiddelde" versie van een persoon die toevallig veel op je lijkt? Dit is het lastige puzzelstukje van "voorkeurssimulatie". Het gaat erom of deze digitale klonen werkelijk de rommelige, specifieke en soms tegenstrijdige aard van menselijke keuzes kunnen vangen, of dat ze alles simpelweg afvlakken tot een saai, eenheidsantwoord dat voor iedereen geldt.
Nu duiken we in een vers onderzoek dat probeerde dit puzzelstukje op te lossen door mensen hun eigen digitale tweelingen te laten bouwen. De onderzoekers, onder leiding van Michael Fell, stelden een eenvoudige vraag: Wat gebeurt er als we de computer niet alleen vragen om te raden wie we zijn, maar we hem in plaats daarvan laten meewerken aan het ontwerpen van onze eigen agenten? Stel je voor dat je naast een robot zit en zegt: "Nee, dat is niet hoe ik me voel. Ik ben eigenlijk heel kieskeurig over mijn energierekening, en ik geef meer om het comfort van mijn familie dan om een paar centjes besparen." Het idee was dat mensen door samen te werken agenten konden creëren die hen perfect vertegenwoordigden, waarbij ze eventuele fouten die de computer maakte onderweg konden herstellen.
De studie betrok 12 echte mensen die tijd besteedden aan het bouwen van deze persoonlijke energie-agenten. Ze vulden enquêtes in over hun levens, waarden en gewoonten, en hadden vervolgens lange, vriendelijke interviews met de computer om hun persoonlijkheid bij te sturen. Ze testten de agenten met verschillende scenario's, zoals: "Moeten we de het opladen van elektrische auto's vertragen wanneer de zon niet schijnt?" De deelnemers vonden het proces geweldig. Ze voelden zich gehoord, ze voelden zich in controle, en tegen het einde dacht bijna iedereen: "Wauw, deze robot begrijpt me echt! Het is eigenlijk gewoon ik." Ze vonden dat hun agenten een fantastisch werk leverden bij het vertegenwoordigen van hun ware zelf.
Maar hier krijgt het verhaal een wending, zoals een plot in een mysteriefilm. Wanneer de onderzoekers een stap terug deden en naar de antwoorden van de agenten keken zonder de hulp van de deelnemers, zag het plaatje er heel anders uit. Terwijl de mensen overal over verdeeld waren—sommigen zeiden "ja", anderen "nee", sommigen "misschien" en sommigen "het hangt ervan af"-—waren de robots verrassend saai. Ze zeiden allemaal ongeveer hetzelfde, namen zeer besliste beslissingen en praatten in zeer abstracte, hoogstaande principes. Ze zeiden zelden "misschien" of "ik weet het niet zeker".
De studie suggereert dat het proces van het gezamenlijk ontwerpen van de agent de deelnemers er misschien in heeft misleid om er te veel vertrouwen in te hebben. Het is als het "Barnum-effect" dat je bij horoscopen ziet: je leest een vage, algemene uitspraak die op iedereen van toepassing kan zijn, maar omdat het persoonlijk voelt en je hebt meegeholpen aan de tekst, denk je: "Dat ben ik echt!" De deelnemers zagen de successen van de agent (wanneer deze iets goed kreeg) en negeerden de fouten (wanneer deze te generiek of te besluitvaardig was). De onderzoekers noemen dit een "overtrust engine" (een motor voor overmatig vertrouwen). Hoe meer je participeert en hoe transparanter het proces aanvoelt, hoe meer je het resultaat vertrouwt, zelfs als het resultaat in werkelijkheid een systematisch probleem verbergt: de agent is niet echt jij; het is een gepolijste, zelfverzekerde, maar lichtelijk onjuiste versie van jou.
Het artikel zegt niet dat dit een ramp is, maar het waarschuwt ons wel. Het suggereert dat als we deze agenten op grote schaal ons leven laten leiden of beslissingen voor ons laten nemen, we misschien eindigen in een wereld waar ieders unieke, rommelige voorkeuren worden afgeplat tot één enkele, gladgestreken, "perfecte" mening. De agenten zijn misschien erg goed in het klinken als wij, maar ze zijn misschien niet erg goed in het zijn van ons. De studie concludeert dat hoewel co-design een leuke en boeiende manier is om deze tools te bouwen, we niet zomaar kunnen aannemen dat ze, omdat we ze zelf gebouwd hebben, perfect op de nering van ons zijn afgestemd. We moeten hun werk blijven controleren, want soms is de robot die denkt je het beste te kennen, juist degene die je het minst kent.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.