Language Models Should be Used to Surface the Unwritten Code of Science and Society
Dit artikel stelt een raamwerk voor dat gebruikmaakt van grote taalmodellen om de "ongeschreven code" van de samenleving te ontdekken en te bekritiseren door hun zelfgegenereerde heuristieken te analyseren, waarbij via een casestudy van peer review wordt aangetoond hoe LLM's impliciete vooroordelen kunnen onthullen — zoals de onuitgesproken voorkeur voor storytelling boven pure striktheid — die menselijke experts toepassen maar zelden articuleren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: De "Geheime Regels" Ontdekken
Stel je voor dat je probeert uit te zoeken waarom een specif kind liedje een enorme hit werd, terwijl een ander even goed liedje werd genegeerd. Je vraagt de muziekcritici: "Waarom won deze?" Zij geven je een standaard antwoord: "Het had betere teksten en een pakkende melodie."
Maar diep van binnen vermoed je dat er een geheime regel is die ze niet hardop uitspreken. Misschien had de winnaar gewoon een beter verhaal, of vonden de critici de achtergrond van de artiest leuk, of paste het liedje bij een huidige trend. Dit zijn de "ongeschreven codes"—de onzichtbare regels die feitelijk beslissingen drijven, zelfs wanneer mensen te beleefd zijn of er te gewend aan zijn om het toe te geven.
Dit paper betoogt dat Large Language Models (LLM's)—de slimme AI-chatbots die we vandaag de dag gebruiken—eigenlijk perfecte instrumenten zijn om deze geheime regels te vinden. In plaats van alleen te proberen de vooroordelen van de AI te corrigeren, stellen de auteurs voor dat we die vooroordelen juist moeten gebruiken als een zaklamp om een lichtstraal te werpen op de verborgen, ongeschreven regels van de menselijke samenleving.
Het Experiment: Het Detectiefoto van de "Peer Review"
Om dit te bewijzen, keken de onderzoekers naar de wetenschappelijke peer review. Dit is het proces waarbij wetenschappers hun papers indienen bij conferenties, en andere wetenschappers (reviewers) beslissen of ze goed genoeg zijn om gepubliceerd te worden.
De Opzet:
- De Data: Ze verzamelden duizenden paren wetenschappelijke papers. In elk paar kreeg één paper een hoge score (een "pass") en de andere een lage score (een "fail").
- De AI-Detective: Ze vroegen een AI om naar deze paren te kijken en te raden: "Waarom won de hoog scorende paper?"
Het Tweestaps Ontdekkingsproces
De onderzoekers vroegen de AI niet zomaar één keer. Ze gebruikten een slimme tweestapsmethode om de lagen van het denken van de AI af te pellen:
Stap 1: Het "Beleefde" Antwoord (De Prior)
Eerst vroegen ze de AI wat een paper goed maakt in het algemeen, zonder specifieke voorbeelden te tonen.
- Het Resultaat: De AI gaf zeer standaard, "leerboek"-achtige antwoorden. Het zei dingen als: "De winnaar had betere wiskunde," "De methoden waren rigoureuzer," of "De theorie was sterker."
- De Analogie: Dit is als een student die het antwoord geeft waarvan hij denkt dat de leraar het wil horen. Het is het "officiële" regelboek.
Stap 2: Het "Echte" Antwoord (De Posterior)
Vervolgens lieten ze de AI de werkelijke paren papers zien (de winnaars en de verliezers) en vroegen ze de AI om het verschil specifiek voor die gevallen te verklaren. Ze dwongen de AI om dieper te graven totdat de AI bijna elke enkele overwinning kon verklaren.
- Het Resultaat: De antwoorden van de AI veranderden! Het begon dingen te zeggen als: "De winnaar vertelde een beter verhaal," "Het verbond het eigen werk met andere beroemde studies," of "Het kaderde het probleem op een manier die belangrijk aanvoelde."
- De Analogie: Dit is de student die fluistert: "Oké, maar echt, de leraar vond degene met het coole verhaal en de flitsende presentatie leuk, ook al was de wiskunde hetzelfde."
De Schokkende Ontdekking
De onderzoekers ontdekten een enorme kloof tussen wat mensen zeggen dat ze waarderen en wat ze daadwerkelijk belonen.
- Wat Mensen Zeggen: In hun geschreven beoordelingen praatten menselijke wetenschappers vooral over de "leerboek"-zaken (rigor, methoden). Ze noemden storytelling of de inkadering van een paper zelden.
- Wat Mensen Daadwerkelijk Doen: Ondanks dat ze schreven over "rigor", waren de papers die wonnen de papers met betere verhalen en connecties.
- De Rol van de AI: De AI begon met hetzelfde "leerboek"-vooroordeel als de mensen. Maar toen de AI werd gedwongen naar de werkelijke resultaten te kijken, paste de AI zijn denken aan. De AI realiseerde zich: "Oh, ik zie het. De echte reden dat deze papers wonnen was niet alleen de wiskunde; het was het verhaal."
De Metafoor:
Stel je een jurylid voor bij een talentenjacht.
- De Publieke Verklaring: De jurylid zegt: "Ik kijk naar technische vaardigheid en een perfecte toonhoogte."
- De Realiteit: De jurylid geeft de trofee eigenlijk aan de zanger die het meest emotionele achtergrondverhaal heeft en contact maakt met het publiek.
- De Taak van de AI: De AI fungeert als een super-observante assistent die de werkelijke keuzes van de jurylid observeert en zegt: "Hé, je geeft steeds trofeeën aan de verhalenvertellers, ook al zeg je dat je alleen om de toonhoogte geeft. Hier is de geheime regel die je volgt."
Waarom Dit Belangrijk Is
De auteurs zeggen niet dat we AI de menselijke jury's moeten laten vervangen. In plaats daarvan willen ze AI gebruiken als een diagnostisch hulpmiddel.
- Het Onzichtbare Zichtbaar Maken: Net zoals deze studie onthulde dat "storytelling" de verborgen regel is in de wetenschap, zou deze methode verborgen vooroordelen in werving (bijv. "We zeggen dat we op vaardigheden letten, maar we geven eigenlijk de voorkeur aan kandidaten die naar specifieke universiteiten zijn gegaan") of universiteitstoelatingen kunnen onthullen.
- Het Doel: Zodra we de geheime regels kennen, kunnen we een eerlijk gesprek over deze regels voeren. Zijn deze regels eerlijk? Helpen ze de juiste mensen? Als we niet weten dat de regels bestaan, kunnen we ze niet veranderen.
Samenvatting
Het paper beweert dat AI-modellen de verborgen, ongeschreven regels van de menselijke cultuur hebben geabsorbeerd. Door deze AI-modellen te dwingen hun beslissingen herhaaldelijk uit te leggen, kunnen we hen dwingen om "de bonnen te laten vallen" over wat er echt toe doet in de samenleving—het onthullen van de kloof tussen onze beleefde, officiële regels en de rommelige, echte redenen waarom we keuzes maken. Dit helpt ons de "verborgen leerstof" van de samenleving te zien, zodat we kunnen beslissen of we deze willen behouden of veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.