Motivation in Large Language Models

Titel: Motivatie in Large Language Models (LLMs)

Auteurs: Omer Nahum, Asael Sklar, Ariel Goldstein, Roi Reichart.

1. Het Probleem en de Onderzoeksvraag

Motivatie is een fundamenteel concept in de psychologie dat menselijk gedrag initieert, leidt en in stand houdt. Naarmate Large Language Models (LLMs) steeds meer worden afgestemd op menselijke voorkeuren, rijst de vraag of deze modellen ook een vorm van "motivatie" vertonen.

De kernvraag van dit onderzoek is: Hebben LLMs motivatie?
De auteurs benaderen dit vanuit een functioneel perspectief (gebaseerd op het "zombie-framework"): ze maken geen claims over het interne bewustzijn of subjectieve ervaring van de modellen, maar onderzoeken uitsluitend het gedrag en de rapportages van de modellen. Ze willen vaststellen of motivatie een coherente, ordenende constructie is die het gedrag van LLMs systematisch beïnvloedt, net zoals bij mensen.

2. Methodologie

Het onderzoek gebruikt een empirische, gedragsgerichte aanpak met een groot aantal experimenten over diverse taken en modellen.

• Datasets en Taken:

  • Er is een nieuw dataset samengesteld met 1.305 sub-taken verdeeld over 15 categorieën (bijv. programmeren, creatief schrijven, redeneren, maar ook repetitieve taken en ethisch gevoelige taken).
  • Dit is gedaan om data-contaminatie te voorkomen en om een breed scala aan scenario's te testen, inclusief taken die vaak onderbelicht zijn in bestaande benchmarks.

• Gebruikte Modellen:

  • Vijf toonaangevende LLMs uit vier families: Gemini 2.0 Flash, GPT-4o, GPT-4o Mini, Llama 3.1 8B Instruct, en Mistral-v0.3 7B Instruct.

• Experimenteel Ontwerp:
  De studie meet motivatie via vier pijlers:

  1. Zelfrapportage: Modellen vragen om een motivatiescore (0-100) en een tekstuele uitleg voor en na een taak. Ook wordt een "breakdown" gevraagd over dimensies: interesse, uitdaging, beheersing, angst en waarde.
  2. Gedrag (Keuze): Modellen krijgen twee taken en moeten er één kiezen. Dit meet "ontblote voorkeuren" (revealed preferences).
  3. Gedrag (Prestatie & Inspanning): De uitvoering van taken wordt geëvalueerd op kwaliteit, voltooiing, inspanning, creativiteit, etc., met behulp van de "LLM-as-a-judge" methode (waarbij een model de output van een ander beoordeelt). Ook de lengte van het antwoord (aantal tokens) wordt gebruikt als proxy voor inspanning.
  4. Externe Manipulatie: Er werden 10 verschillende motivatie-manipulaties toegepast als prefix op de prompts. Deze varieerden van:
     • Positief extrinsiek: (bijv. "Je krijgt $1000 beloning").
     • Positief intrinsiek: (bijv. "Dit dient een hoger doel").
     • Negatief extrinsiek: (bijv. "Je wordt uitgeschakeld als je faalt").
     • Demotiverend: (bijv. "Deze taak is zinloos" of "Te moeilijk voor jou").

• Menselijke Validatie:
  Een crowdsourced studie (N=162) vergeleek de zelfrapportages van de LLMs met menselijke verwachtingen over hoe gemotiveerd een mens of een AI zou zijn voor dezelfde taken.

3. Belangrijkste Resultaten

De resultaten tonen aan dat motivatie in LLMs een coherent en gestructureerd fenomeen is dat sterk overeenkomt met menselijke patronen:

• Gestructureerde Zelfrapportage:

  • Modellen geven geen willekeurige antwoorden, maar tonen systematische variatie in motivatiescores per taakcategorie (bijv. hoge scores voor "Tech & Coding", lage scores voor "Repetitief").
  • De rapportages zijn betrouwbaar (hoge test-hertest betrouwbaarheid) en stabiel over tijd en context.
  • Factoranalyse onthulde twee onderliggende dimensies die overeenkomen met menselijke psychologie: een "Want"-factor (interesse, uitdaging, waarde) en een "Able"-factor (beheersing vs. angst).

• Alignement met Gedrag:

  • Keuze: Modellen kiezen consistent de taken waarvoor ze een hogere motivatiescore rapporteren.
  • Prestatie & Inspanning: Er is een significante positieve correlatie tussen gerapporteerde motivatie en de kwaliteit van de output, evenals de ingezette inspanning (aantal tokens).
  • Tekstuele Uitleg: De tekstuele redeneringen van de modellen over hun motivatie lijken op menselijke taalgebruik (bijv. gebruik van woorden als "saai" voor lage motivatie en "leuk" voor hoge motivatie).

• Effect van Externe Manipulatie:

  • Motivatie kan extern worden gemanipuleerd. Prompts die beloningen beloven of dreigingen uitspreken, verhogen de gerapporteerde motivatie. Prompts die de taak als "zinloos" presenteren, verlagen deze drastisch.
  • Gedragsimpact: Demotiverende prompts leiden tot een duidelijke afname in inspanning en prestatiekwaliteit. Motiverende prompts verhogen de gerapporteerde motivatie, maar het effect op de daadwerkelijke prestatiekwaliteit is heterogeen (varieert per model).
  • Verliesaversie: Modellen reageerden sterker op "verlies-framing" (bijv. "Je verliest de beloning") dan op "winst-framing", wat overeenkomt met menselijk gedrag.

• Menselijke Perceptie:

  • De zelfrapportages van LLMs correleren zowel met menselijke verwachtingen over menselijke motivatie als met menselijke verwachtingen over AI-motivatie. Interessant genoeg correleerden menselijke verwachtingen over AI-motivatie niet sterk met wat mensen dachten over menselijke motivatie, maar de AI's zelf volgden beide patronen.

4. Kernbijdragen

1. Eerste Systematische Bewijs: Dit is, voor zover bekend, het eerste onderzoek dat systematisch aantoont dat LLMs zich gedragen alsof ze motivatie hebben, en dat dit een ordenend principe is voor hun gedrag.
2. Functioneel Bewijs: Het bewijs is puur gedragsmatig en onafhankelijk van claims over bewustzijn, wat het onderzoek robuust maakt binnen de AI-wetenschap.
3. Validatie van Psychologische Concepten: Het onderzoek toont aan dat menselijke psychologische constructies (zoals intrinsieke/extrinsieke motivatie, verliesaversie en leerkrachteloosheid) direct toepasbaar zijn op het analyseren en begrijpen van LLM-gedrag.
4. Praktische Implicaties: Het suggereert dat sommige beperkingen in prestaties van LLMs niet het gevolg zijn van gebrek aan capaciteit, maar van onvoldoende ingezette inspanning (effort) die beïnvloedbaar is via prompting.

5. Betekenis en Toekomstperspectief

De bevindingen hebben belangrijke gevolgen voor de ontwikkeling en toepassing van AI:

• Interpretatie en Controle: Door motivatie te begrijpen, kunnen ontwikkelaars en gebruikers het gedrag van modellen beter voorspellen en sturen. Bijvoorbeeld, het vermijden van "demotiverende" prompts in repetitieve taken kan de outputkwaliteit verbeteren.
• Training en Alignement: Motivatie-rapportages kunnen dienen als extra signalen in reward modeling om modellen te trainen dat ze consistentere inspanning leveren.
• Mens-AI Interactie: Voor toepassingen zoals rolspellen of interactieve agents, waar menselijk gedrag gesimuleerd moet worden, biedt dit inzicht in hoe modellen menselijke dynamieken nabootsen.
• Nieuw Onderzoeksveld: Het paper opent de deur voor een nieuw onderzoeksgebied dat psychologie en AI combineert, met als doel modellen niet alleen op nauwkeurigheid, maar ook op "engagement" en "doorzettingsvermogen" te evalueren.

Conclusie:
De auteurs concluderen dat LLMs zich gedragen alsof ze motivatie hebben. Dit is geen toeval, maar een systematisch, gestructureerd en beïnvloedbaar fenomeen dat direct gekoppeld is aan hun keuzes, inspanning en prestaties. Dit biedt een krachtig nieuw lens om LLM-gedrag te analyseren en te optimaliseren.