Technische Samenvatting: Kunstmatige Inspanning

Probleemstelling

Real-effort taken zijn een fundamenteel methodologisch instrument in de experimentele economie, ontworpen om menselijke inspanning, prestaties, vermoeidheid en responsiviteit op prikkels te meten door deelnemers te verplichten cognitief kostbare activiteiten uit te voeren. De validiteit van deze taken rust op een kritieke, vaak impliciete aanname: dat de agent die de taak uitvoert, menselijk is.

Met de snelle verspreiding van Large Language Models (LLM's) en hun toenemende vermogen tot multimodaal redeneren, wordt deze aanname steeds onzekerder, met name in onbeheerde online omgevingen (bijvoorbeeld online arbeidsmarkten, webgebaseerde experimenten). Als LLM's canonieke real-effort taken met hoge nauwkeurigheid kunnen oplossen tegen verwaarloosbare marginale kosten, kunnen deze taken ophouden te fungeren als maatstaven voor menselijke inspanning. In plaats daarvan kunnen ze onbedoeld toegang meten tot capabele AI-modellen, wat de constructvaliditeit ondermijnt en potentieel kwaadaardige "taakvermoeiing" voor omzet mogelijk maakt. Hoewel eerdere literatuur AI heeft onderzocht in de context van enquêtegeneratie, ontbreekt er direct bewijs over de vraag of state-of-the-art LLM's de specifieke real-effort taken die economen routinematig gebruiken, effectief kunnen oplossen.

Methodologie

De auteurs voerden een uitgebreide benchmark uit om het vermogen van 23 state-of-the-art LLM's van drie grote aanbieders (OpenAI, Google en Anthropic) te evalueren om acht canonieke real-effort taken op te lossen.

Taken:
De studie gebruikte acht taken die beschikbaar zijn in de Otree-repository, die een spectrum van perceptuele, rekenkundige en redeneereisen bestrijken:

1. Optellen: Het sommeren van drie gehele getallen.
2. Aantal Nullen: Het tellen van nullen in een 15×10 binaire tabel.
3. Letterdecodering: Het decoderen van een string met behulp van een tabel met letter-naar-cijfer-toewijzingen.
4. Som van Getallenparen: Het identificeren van een paar getallen in een 4×4-rooster dat optelt tot 10,0.
5. Reeks Voltooiing: Het voorspellen van het volgende element in een wiskundige reeks.
6. Sudoku: Het oplossen van een gedeeltelijk ingevuld 6×6-rooster.
7. Vervormde Tekst: Het transcriberen van een alfanumerieke string van 12 tekens uit een vervormde afbeelding.
8. Stringinvoer: Het reproduceren van een string van 9 tekens met speciale tekens uit een afbeelding.

Experimentele Opzet:

• Modellen: 23 modellen variërend van lichtgewicht (bijvoorbeeld Haiku, Flash Lite, Nano) tot geavanceerd (bijvoorbeeld Opus, Pro, GPT-5.4). Alle modellen ondersteunen multimodale invoer.
• Procedure: Taken werden weergegeven als HTML-pagina's met afbeeldingen. Invoer werd verzonden via de OpenRouter API. Elk model voerde 20 onafhankelijke runs per taak uit.
• Scorebepaling: Antwoorden werden alleen als correct beoordeeld als ze exact overeenkwamen met de grondwaarheid; er werd geen gedeeltelijke krediet verleend.
• Behandelingen: Een 2×2-ontwerp testte de gevoeligheid van LLM's voor verbale prikkels en persona-frames:
  • T0 (Controle): Neutrale prompt.
  • T1: Standaard persona, geen monetaire prikkel.
  • T2: Standaard persona, verbale monetaire prikkel ($0,50 per correct antwoord).
  • T3: Menselijke persona, geen monetaire prikkel.
  • T4: Menselijke persona, verbale monetaire prikkel.
• Kostenanalyse: De studie berekende de totale API-kosten per taak op basis van tokengebruik voor invoer/uitvoer en prijzen van de aanbieder, en vergeleek dit met typische stukloonpercentages voor online-experimenten ($0,25 per correct antwoord).

Belangrijkste Bijdragen en Resultaten

1. Taakmoeilijkheid en Automatiseringsgevoeligheid

De prestaties variëren aanzienlijk per taaktype.

• Sterk Automatiseerbaar: Taken met kleine, gestructureerde invoer en elementaire bewerkingen (Optellen, Som van Getallenparen, Letterdecodering, Reeks Voltooiing) worden door de meeste modellen met bijna perfecte nauwkeurigheid (90–100%) opgelost.
• Resistente Taken: Taken die complexe visuele zoekopdrachten, enumeratie of combinatorisch redeneren vereisen (Sudoku, Aantal Nullen, Stringinvoer) blijven uitdagend, met nauwkeurigheden variërend van 25% tot 37%, zelfs voor top-tier modellen.
• Tussenliggend: Vervormde Teksttranscriptie valt in het midden (77,4%), beperkt door perceptuele ruis in plaats van puur redeneren.

2. Modelprestaties en Evolutie

• Tier versus Aanbieder: De prestaties worden grotendeels bepaald door het modeltier (bijvoorbeeld Opus/Pro versus Sonnet/Flash) en niet door de aanbieder. Top-tier modellen bereiken een gemiddelde nauwkeurigheid van >80%, terwijl mid-tier modellen ongeveer 60% bereiken.
• Snelle Verbetering: Nieuwere releases presteren consequent beter dan hun voorgangers binnen hetzelfde tier. De meest significante winsten worden waargenomen in mid-range tiers, wat suggereert dat de set modellen die deze taken kunnen automatiseren zich snel uitbreidt en toegankelijker wordt.
• Cherry-picking: Een strategische agent die het best presterende model voor elke specifieke taak selecteert, kan een gemiddelde nauwkeurigheid van 93,1% bereiken, aanzienlijk hoger dan het gebruik van een enkel model (82,5%). Dit impliceert dat zelfs "resistente" taken met hoge frequenties kunnen worden opgelost als de agent de kennis heeft om het optimale instrument te selecteren.

3. Economische Haalbaarheid van Substitutie

De substitutie van menselijke inspanning door LLM's is economisch dominant.

• Kostenefficiëntie: Zelfs de duurste geteste modellen kosten minder dan $0,40 per taak (20 runs). Goedkopere modellen kosten minder dan $0,05.
• Netto Winst: Bij een conservatief stukloonpercentage van $0,25 per correct antwoord genereert elk getest model een positieve netto winst (variërend van ongeveer $2,66 tot $3,92 per taak).
• Conclusie: Het vervangen van menselijke deelnemers door LLM's is niet alleen haalbaar, maar zeer winstgevend voor een op winst beluste agent.

4. Ongevoeligheid voor Prikkels en Persona

• Geen Effect: Verbale aanbiedingen van monetaire prikkels of instructies om "als een mens te gedragen" hadden geen statistisch significant effect op de prestaties van LLM's.
• Mechanisme: In tegenstelling tot mensen hebben LLM's geen "inspanningsmarge" om aan te passen aan marginale opbrengsten. Hun rekenproces is vastgelegd door architectuur en prompt; de tekst van de prompt verandert de onderliggende inferentieprocedure niet.
• Diagnostisch Potentieel: Het ontbreken van leereffecten, vermoeidheid of responsiviteit op prikkels bij LLM's biedt een potentieel diagnostisch instrument. Een vlak nauwkeurigheidsprofiel over herhaalde trials, gecombineerd met stabiele variantie, kan geautomatiseerde in plaats van menselijke voltooiing signaleren.

Betekenis en Aanbevelingen

Het artikel vestigt een randvoorwaarde voor het gebruik van real-effort taken in onbeheerde settings: wanneer deelnemers taken goedkoop kunnen uitbesteden aan een LLM, kan de waargenomen prestatie geen echte menselijke inspanning meer weerspiegelen. De auteurs betogen dat de constructvaliditeit van deze taken in het tijdperk van AI wordt ondermijnd.

Op basis van deze bevindingen bieden de auteurs drie praktische aanbevelingen voor onderzoekers:

1. Taakselectie: Geef de voorkeur aan taken die perceptuele vaardigheden vereisen (bijvoorbeeld nullen tellen, stringinvoer) boven puur computationele taken (bijvoorbeeld optellen) wanneer de authenticiteit van deelnemers een zorg is, aangezien huidige LLM's meer moeite hebben met de eerste categorie.
2. Prikkel Screening: Gebruik prikkeltaal als een screeningsinstrument door deelnemers te vragen vergelijkbare taken uit te voeren met en zonder monetaire prikkels; afwijkend gedrag kan helpen mensen van LLM's te onderscheiden.
3. Dynamisch Monitoring: Monitor dynamiek binnen sessies, aangezien het ontbreken van karakteristieke menselijke patronen van leren en vermoeidheid kan helpen geautomatiseerde reacties te identificeren.

De studie concludeert dat naarmate LLM's blijven verbeteren, met name in mid-tier modellen, de set real-effort taken die kwetsbaar zijn voor automatisering waarschijnlijk zal uitbreiden, wat een her-evaluatie vereist van hoe inspanning wordt gemeten in de experimentele economie.