LLMs Should Not Yet Be Credited with Decision Explanation
Dit position paper betoogt dat LLM's nog niet de eer mogen krijgen voor het verklaren van menselijke beslissingen, omdat de huidige evidentie voornamelijk voorspelling en rationalisatie ondersteunt in plaats van een werkelijke verklaring, en pleit in plaats daarvan voor een afgewogen standaard die onderscheid maakt tussen deze vaardigheden om voortijdige herdefiniëring van vooruitgang in verklaring te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die probeert uit te vinden waarom een persoon een specifieke keuze heeft gemaakt, zoals het kopen van een rode auto in plaats van een blauwe.
Stel je nu voor dat je een zeer slimme, goed gelezen robot hebt (een LLM) die de situatie kan bekijken en je twee dingen kan vertellen:
- De Voorspelling: "Ik wed dat ze de rode auto hebben gekocht."
- Het Verhaal: "Ze hebben de rode auto gekocht omdat ze houden van de kleur rood en het past bij hun persoonlijkheid."
Het artikel van Wenshuo Wang stelt dat we momenteel een grote fout maken. We behandelen het verhaal van de robot alsof het een wetenschappelijke verklaring is van de menselijke geest. De auteur zegt: Stop met de robot krediet geven voor het 'verklaren' van menselijke beslissingen totdat het veel sterker bewijs heeft.
Hier is de uiteenzetting met eenvoudige analogieën:
1. De Drie Niveaus van 'Krediet'
Het artikel stelt dat er drie verschillende dingen zijn die een robot kan doen, en dat deze verschillende niveaus van bewijs vereisen. Zie het als een videospel met drie moeilijkheidsgraden:
Niveau 1: De waarzegster (Beslissingsvoorspelling)
- Wat het doet: De robot raadt het resultaat correct. "Ze hebben de rode auto gekozen."
- Het Bewijs: Het hoeft alleen maar vaak gelijk te hebben.
- Het Standpunt van het Artikel: Dit is geweldig! We moeten de robot krediet geven voor het zijn van een goede gever. Maar goed raden betekent niet dat je weet waarom ze het hebben gekozen. Misschien heeft de robot gewoon gemerkt dat de meeste mensen op dinsdag rood kiezen, niet vanwege de liefde van de persoon voor rood.
Niveau 2: De vloeiende prater (Rationale Generatie)
- Wat het doet: De robot schrijft een overtuigend verhaal. "Ze hebben de rode auto gekozen omdat het stijlvol is en bij hun schoenen past."
- Het Bewijs: Mensen lezen het verhaal en zeggen: "Dat klinkt redelijk en geeft zin."
- Het Standpunt van het Artikel: Dit is ook nuttig! De robot is goed in schrijven. Maar een vloeiend verhaal is niet hetzelfde als de waarheid. Een advocaat kan een perfecte verdediging schrijven voor een cliënt die eigenlijk schuldig is. Het verhaal klinkt goed, maar het bewijst niet wat er echt in het hoofd van de cliënt omging.
Niveau 3: De gedachtelezer (Beslissingsverklaring)
- Wat het doet: De robot bewijst dat het daadwerkelijk de specifieke mentale tandwielen heeft gevolgd die in het hoofd van de mens draaiden en die leidden tot de keuze.
- Het Bewijs: Dit is het moeilijke deel. Je kunt de robot niet alleen vragen om een verhaal te schrijven. Je moet het testen.
- Het Standpunt van het Artikel: We zijn er nog niet. Momenteel is de robot slechts een Niveau 1 Waarzegster en een Niveau 2 Vloeiende Prater. We noemen het ten onrechte een Niveau 3 Gedachtelezer.
2. Het Probleem: "De Overtuigende Verteller"
Het artikel waarschuwt dat we in een valkuil trappen. Omdat de robot zo goed is in schrijven (Niveau 2) en zo goed is in raden (Niveau 1), gaan we ervan uit dat het ook de oorzaak moet begrijpen (Niveau 3).
De Analogie:
Stel je een goochelaar voor die een konijn uit een hoed haalt.
- Voorspelling: De goochelaar zegt: "Ik ga een konijn uit de hoed halen." (Hij heeft gelijk).
- Rationale: Hij zegt: "Ik heb het konijn uit de hoed gehaald omdat ik een speciale magische spreuk heb gebruikt." (Dit klinkt plausibel en magisch).
- Verklaring: Om het echt te verklaren, zou je het geheime compartiment in de hoed of het mechanisme dat hij gebruikte moeten laten zien.
Op dit moment zijn LLM's gewoon de goochelaar die ons de spreuk vertelt. Ze hebben ons het geheime compartiment niet laten zien. Ze "rationaliseren" alleen maar (verzinnen een goede reden) voor het resultaat dat ze al hadden voorspeld.
3. De Oplossing: De "Brug-Standard"
De auteur stelt een nieuwe regel voor voor wanneer we eindelijk kunnen zeggen: "Oké, deze robot verklaart menselijke beslissingen." De robot moet een brug bouwen tussen zijn verhaal en de daadwerkelijke menselijke geest.
Om deze brug over te steken, moet de claim van de robot vier tests doorstaan:
- Noem het Doel: Zeg niet zomaar "Het verklaart de keuze." Zeg exact wat het volgt. Is het "angst om geld te verliezen" aan het volgen? Is het "aandacht voor felle kleuren" aan het volgen? Je moet een specifiek ding kiezen om te meten.
- Versla de "Valse" Alternatieven: Je moet bewijzen dat de robot niet zomaar een "Slimme Gissing + Vloeiende Prater" is. Je moet laten zien dat als je de robot bedriegt (bijvoorbeeld door het antwoord eerst te verbergen), het niet zomaar een verhaal kan verzinnen dat toevallig juist is. Het moet bewijzen dat het de echte reden heeft gevonden, niet zomaar een handige smoes.
- Gebruik de Juiste Hulpmiddelen: Als je beweert dat de robot "aandacht" volgt, moet je het niet alleen vragen om een essay te schrijven. Je moet hulpmiddelen gebruiken zoals oogvolging of reactietijden om te zien of het verhaal van de robot overeenkomt met wat de ogen van de mens daadwerkelijk deden.
- Houd het Klein: Zeg niet "Deze robot verklaart alle menselijke beslissingen." Zeg "Deze robot verklaart dit specifieke type keuze voor deze specifieke groep mensen."
4. Waarom Dit Belangrijk Is
Het artikel zegt niet dat robots nutteloos zijn. Het zegt dat we eerlijk moeten zijn over waar ze goed in zijn.
- Huidige Staat: We behandelen robots als Psychische Vertellers. We denken dat ze de diepe geheimen van de menselijke geest onthullen omdat ze overtuigende verhalen schrijven.
- Voorgestelde Staat: We moeten ze behandelen als Krachtige Hulpmiddelen die geweldig zijn in raden en ideeën genereren, maar we moeten ze niet "Verklarders" noemen totdat ze de moeilijke tests hebben doorstaan.
De Conclusie:
Als we robots blijven krediet geven voor het "verklaren" van dingen die ze niet echt hebben bewezen, stoppen we misschien met zoeken naar de echte antwoorden. Door ons krediet te kalibreren (hen krediet geven voor wat ze echt doen, niet wat we wensen dat ze doen), kunnen we ze omtoveren van overtuigende vertellers naar betrouwbare instrumenten voor het ontdekken van de waarheid over menselijk gedrag.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.