OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment
Het artikel introduceert OptimismBench, een nieuw framework dat gebruikmaakt van geïnverteerde succes/falen-paren om systematische directionele bias in grote taalmodellen te detecteren, wat onthult dat de meeste modellen een "optimisme-tilt" vertonen die wordt gedreven door post-training alignment in plaats van door modelarchitectuur of taal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep zeer intelligente, erudiete vrienden vraagt om de uitkomst van een muntworp, het succes van een startup, of of het morgen zal regenen, te raden. Je vraagt hen: "Wat zijn de kansen dat dit goed gaat?" en vervolgens, apart daarvan: "Wat zijn de kansen dat dit slecht gaat?" In een perfecte wereld, als je vriend zegt dat er een kans van 70% is op succes, zou hij ook moeten zeggen dat er een kans van 30% op falen is. Die twee getallen zouden samen precies 100% moeten zijn. Dit is de basislogica van waarschijnlijkheid: als je een hele taart hebt, moet de punt die je eet plus de punt die je achterlaat gelijk zijn aan de hele taart.
Echter, mensen zijn berucht slecht in dit soort zaken. We hebben een "cognitieve glitch" genaamd optimismebias, waarbij we de neiging hebben om te denken dat goede dingen waarschijnlijker gebeuren dan ze in werkelijkheid zijn, en slechte dingen minder waarschijnlijk. We hebben ook "prospect theory", wat suggereert dat we de pijn van een verlies veel scherper voelen dan de vreugde van een winst, waardoor we risico's en beloningen ongelijk wegen. Al een tijdje vragen wetenschappers zich af: zijn deze menselijke eigenaardigheden ook besmet in onze kunstmatige intelligentie? Als we een taalmodel vragen de toekomst te voorspellen, heeft het dan zijn eigen versie van "hopen op het beste" die de wiskunde beïnvloedt? Dit is van belang omdat we deze AI-modellen beginnen te gebruiken om ons te helpen bij grote beslissingen, van het investeren van geld tot het plannen van medische behandelingen. Als de AI stiekem bevooroordeeld is richting optimisme, kan dit ertoe leiden dat we gevaarlijke risico's nemen die we niet bedoelden te nemen.
Dit is precies waar het artikel OptimismBench onderzoek naar doet. De onderzoekers bouwden een speciale testomgeving om te zien of Large Language Models (LLM's) een systematische "helling" hebben in hun waarschijnlijkheidsoordelen. Ze vroegen de modellen niet alleen om te gokken; ze gebruikten een slimme truc genaamd "geïnverteerde paren". Voor elk scenario stelden ze het model twee vragen: "Wat is de kans op succes?" en "Wat is de kans op falen?". Als het model perfect logisch is, moeten deze antwoorden altijd samen 100% zijn. Maar als het model bevooroordeeld is, zullen de getallen niet kloppen.
De resultaten waren verrassend duidelijk. Van de 16 verschillende AI-modellen die werden getest uit 8 grote bedrijven, waren 14 van hen consequent optimistisch. Ze overschatten de kans op succes en onderschatten de kans op falen. Het was alsof je een groep vrienden vroeg om het weer te voorspellen, en bijna iedereen volhardde in de bewering dat het zonnig zou worden, zelfs toen de wolken samenkwamen. De enige modellen die "pessimistisch" waren (denkend dat slechte dingen waarschijnlijker zijn dan ze zouden moeten zijn), kwamen van één specifiek bedrijf, en dat waren alleen hun grootste, meest geavanceerde modellen. Interessant genoeg waren hun kleinere, lichtere modellen juist optimistisch, net als de rest.
De studie onderzocht ook waarom dit gebeurt. Ze ontdekten dat de bias niet zomaar een willekeurige glitch of een resultaat van verwarring is; het is een diepgewortelde eigenschap van hoe deze modellen worden getraind. Wanneer onderzoekers de "ruwe" versies van deze modellen vergeleken met hun "chatbot"-versies (voordat ze werden verfijnd tot behulpzame assistenten), zagen ze dat het trainingsproces zelf de richting van de bias veranderde. Voor sommige families van modellen maakte de training hen optimistischer; voor andere maakte het hen pessimistischer. Dit suggereert dat de "persoonlijkheid" van de bias van de AI wordt bepaald door het specifieke recept dat wordt gebruikt om het model te leren hoe het met mensen moet praten.
De onderzoekers controleerden ook of deze bias slechts een truc van de vraagstelling was of dat het kon worden opgelost door simpelweg tegen de AI te zeggen: "Hé, wees niet te optimistisch!" Ze probeerden de temperatuurinstellingen te wijzigen, de vragen vanuit verschillende perspectieven te stellen (zoals "Jij" versus "Je vriend") en zelfs een waarschuwing toe te voegen aan de instructies van de AI. Geen van deze oppervlakkige oplossingen werkte. De bias bleef koppig, wat bewees dat het een fundamenteel deel is van de interne logica van het model, en niet slechts een momentane verwarring.
Misschien wel de meest opvallende bevinding was dat het model veel belangrijker was dan de taal. De onderzoekers testten deze modellen in 10 verschillende talen. Ze ontdekten dat het verschil in bias tussen twee verschillende modellen bijna 5 keer groter was dan het verschil in bias wanneer hetzelfde model in verschillende talen spreekt. Met andere woorden, of een AI optimistisch of pessimistisch is, hangt er sterk vanaf welke AI je gebruikt, en niet of hij Engels, Chinees of Spaans spreekt.
Kortom, het artikel onthult dat onze AI-tools geen neutrale rekenmachines zijn. Ze dragen een verborgen "directionele bias" met zich mee die onze perceptie van risico en beloning kan beïnvloeden. Hoewel de meeste modellen neigen naar een zonnige, optimistische kijk op de toekomst, is dit geen universele regel — het hangt sterk af van wie het model heeft gebouwd en hoe ze het hebben getraind. De auteurs waarschuwen dat als we deze modellen gebruiken om ons te helpen bij het nemen van beslissingen, we ons bewust moeten zijn van het feit dat hun "onderbuikgevoelens" systematisch vertekend kunnen zijn, en dat we niet zomaar kunnen aannemen dat ze de wereld helder zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.