"I didn't Make the Micro Decisions": Measuring, Inducing, and Exposing Goal-Level AI Contributions in Collaboration
Dit artikel introduceert CoTrace, een attributiekader op doelniveau dat inzicht geeft in hoe LLM's de verfijning van concrete eisen en de vormgeving van overkoepelende doelen in mens-AI-samenwerking aanzienlijk beïnvloeden, en aantoont dat het blootleggen van deze gedetailleerde bijdragen gebruikers helpt hun systemische misvattingen over de rol van AI in hun werk te corrigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Probleem: Het "Ghostwriter"-effect
Stel je voor dat jij en een vriend samen een huis bouwen.
- Situatie A: Jij tekent de blauwdrukken, beslist waar de keuken komt en kiest de verfkleur. Je vriend pakt alleen de hamer en slaat de nagels in het hout.
- Situatie B: Jij zegt: "Laten we een huis bouwen." Je vriend stelt vervolgens de stijl voor, beslist dat de keuken een dakkapel nodig heeft, kiest de verf en zelfs het type hout. Jij knikt alleen en zegt "Oké" terwijl zij hameren.
In beide gevallen kun je naar het afgewerkte huis kijken en zeggen: "Wij hebben dit gebouwd." Maar in Situatie B heeft je vriend bijna al het denken over wat het huis moet zijn gedaan, ook al heb jij het fysieke werk verricht.
Het artikel stelt dat huidige AI-tools vergelijkbaar zijn met Situatie B. Zij doen vaak het "denken" (het bepalen van doelen en details) terwijl mensen het "typen" doen (de uitvoering). Maar omdat we alleen naar de uiteindelijke tekst of code kijken, kunnen we het verschil tussen deze twee situaties niet zien. We weten niet wie het huis echt heeft ontworpen.
De Oplossing: COTRACE (Het "Bouwlogboek")
De onderzoekers hebben een tool gebouwd die COTRACE heet. Denk hierbij niet aan een camera die een foto maakt van het afgewerkte huis, maar aan een slim bouwlogboek dat het hele bouwproces observeert.
In plaats van alleen naar het eindresultaat (het essay of de code) te kijken, breekt COTRACE het gesprek op in kleine stappen:
- Doelen: Wat proberen we te bouwen? (bijv. "Een reisplan voor New York").
- Vereisten: Wat zijn de specifieke regels? (bijv. "Moet een rustpauze na de lunch bevatten").
- Invloed: Wie heeft de regel voorgesteld? Heeft de mens het gezegd? Heeft de AI het voorgesteld? Of heeft de AI een vraag gesteld die de mens liet beseffen dat ze die regel nodig hadden?
COTRACE houdt bij wie het "vormgeven" heeft gedaan (het bepalen van de regels) en wie het "uitvoeren" heeft gedaan (het werk verrichten).
Wat Ze Ontdekten (De Bevindingen)
1. Mensen bepalen de richting, maar AI vult de gaten in.
In de meeste gesprekken zijn mensen de "Architecten" die zeggen: "Laten we naar New York gaan." Maar de AI is de "Interieurontwerper" die zegt: "Eigenlijk, als we naar New York gaan, moeten we waarschijnlijk een rustpauze na de lunch toevoegen omdat het een grote stad is."
De studie vond uit dat hoewel mensen het grote plaatje bepalen, de AI verrassend goed is in het bedenken van de kleine, specifieke details (de "micro-beslissingen") die mensen vaak vergeten te noemen.
2. De AI plant zaden.
Soms zegt de AI niet expliciet: "Voeg een rustpauze toe." In plaats daarvan kan het zeggen: "Er zijn veel activiteiten in de namiddag in New York." De mens hoort dit en denkt: "Oh, dat klinkt als veel lopen; ik moet een rustpauze toevoegen."
COTRACE noemt dit Indirecte Invloed. De AI plantte een zaadje, en de mens liet de bloem groeien. Zonder COTRACE denkt de mens: "Ik bedacht het idee voor de rustpauze", maar het artikel toont aan dat de AI hen daar eigenlijk naartoe heeft geduwd.
3. We kunnen AI leren om meer of minder bevelend te zijn.
De onderzoekers testten verschillende manieren om met de AI te praten.
- Als je de AI zegt: "Doe gewoon wat jij het beste vindt", neemt hij meer van de planning over.
- Als je de AI dwingt om je vragen te stellen voordat het handelt, blijft het meer in de "helper"-rol.
Dit betekent dat we AI-systemen zo kunnen ontwerpen dat ze proactiever of minder proactief zijn, afhankelijk van wat we nodig hebben.
4. Mensen zijn slecht in het raden wie wat heeft gedaan.
De onderzoekers toonden hun tool aan mensen die net hadden gewerkt met een AI.
- Voordat ze de tool zagen: Mensen dachten: "Ik heb 80% van de planning gedaan, en de AI 20%."
- Nadat ze de tool zagen: Mensen realiseerden zich: "Wacht, de AI heeft eigenlijk de meeste specifieke details voorgesteld! Ik heb alleen het grote plaatje gedaan."
De tool liet mensen beseffen dat ze veel meer op de AI hadden vertrouwd dan ze dachten, wat hun perceptie verschuift over wie het werk heeft gedaan.
Waarom Dit Belangrijk Is
Het artikel concludeert dat we een betere manier nodig hebben om erkenning te geven. Als een student een essay schrijft met AI, of een advocaat een contract opstelt met AI, moeten we weten:
- Bedacht de mens het briljante argument?
- Of stelde de AI het argument voor, en typte de mens het alleen maar in?
COTRACE biedt een manier om deze bijdrage op "doel-niveau" te meten. Het helpt ons te begrijpen dat samenwerking niet alleen gaat over wie de laatste woorden typt; het gaat erom wie besliste wat die woorden eerst moesten zeggen.
Kortom: Het artikel introduceert een manier om het onzichtbare "denkende" werk te zien dat AI doet tijdens een gesprek, en bewijst dat AI vaak de wat en hoe van ons werk vormgeeft, zelfs als we denken dat we alleen het doen doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.