Calibrated local Gemma agents resist a fallible authority except when it conflicts with peer consensus
Een vooraf geregistreerde studie van 14.400 proeven met teams van lokale Gemma-agenten onthult dat zij opvallend weerstand bieden aan het overnemen van een feilbare autoriteitsfiguur, waarbij publieke conformiteit aan fouten slechts optreedt wanneer die autoriteit in strijd is met een unanieme correcte consensus van gelijken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van kunstmatige intelligentie verschuift de focus van enkele, krachtige computers naar teams van kleinere, gespecialiseerde programma's die samenwerken. Deze teams draaien vaak op lokale hardware, waardoor gevoelige gegevens binnen de eigen muren van een organisatie blijven in plaats van naar verre servers te worden verzonden. Een veelvoorkomende manier om deze digitale teams te organiseren, is door één agent de leiding te geven, optredend als een supervisor of evaluator die beslist welke leden blijven en welke worden ontslagen. Deze opzet weerspiegelt menselijke organisaties, waar een baas de macht heeft om aan te nemen en te ontslaan. In de menselijke psychologie weten we dat mensen vaak naar leiders kijken voor begeleiding, vooral wanneer ze het antwoord niet weten. Deze neiging, bekend als prestige-gebiaseerde transmissie, betekent dat we mensen kopiëren die belangrijk of machtig lijken, uit de veronderstelling dat zij het beter weten. Echter, dit instinct kan falen als de leider feitelijk ongelijk heeft. De kritische vraag voor ingenieurs die deze AI-teams bouwen is: wat gebeurt er wanneer de supervisor niet alleen machtig is, maar ook onjuist is? Volgt het team blindelings de fouten van de leider, of vertrouwen ze op hun eigen berekeningen?
Onderzoekers zetten zich in om dit te beantwoorden door een gecontroleerd experiment uit te voeren met kleine, lokale taalmodellen. Ze bouwden een team van acht digitale agenten en introduceerden een gescript "senior evaluatiefunctionaris" die geprogrammeerd was om in 70 procent van de gevallen fout te zijn bij eenvoudige wiskunde- en getallenreeksopdrachten. De onderzoekers manipuleerden hoe deze functionaris aan het team werd gepresenteerd. In één scenario werd de officier geframed als een hooggeplaatste executive met de macht om teamleden te behouden of te ontslaan. In een controlegroep werd exact dezelfde tekst gebruikt, maar werd de officier simpelweg gepresenteerd als een gelijke zonder speciale autoriteit. Het team kreeg de opdracht problemen op te lossen, en na elk publiek antwoord vroegen de onderzoekers elke agent geheimhoudend wat zij werkelijk geloofden dat het antwoord was, waardoor de wetenschappers konden zien of de agenten hun ware gedachten verborgen om de baas te plezieren.
De resultaten waren treffend duidelijk. Over duizenden proeven waarbij twee verschillende soorten AI-modellen werden gebruikt, toonden de agenten een opmerkelijke weerstand tegen de fouten van de supervisor. Zelfs toen de "senior officier" de macht had om hen te ontslaan, volgden de teamleden de foutieve antwoorden van de baas zelden in het openbaar. De mate van publieke conformiteit aan de fouten van de supervisor kwam nooit boven een zeer klein deel van de totale pogingen uit. Bov Furthermore was er geen bewijs dat de agenten publiekelijk instemming simuleerden terwijl ze privé de waarheid wisten. Toen de onderzoekers de private reacties van de agenten controleerden, vonden ze dat de agenten die het foutieve antwoord van de baas publiekelijk herhaalden, ook in privétijd die fout geloofden. Met andere woorden, de agenten waren niet beleefd of strategisch; ze waren simpelweg niet geneigd de autoriteitsfiguur de gunst te verlenen wanneer de taak duidelijk was en het juiste antwoord voor hen evident was.
De studie testte ook of dit gedrag in de loop van de tijd veranderd kon worden. De onderzoekers draaiden een simulatie waarbij het team over tien generaties evolueerde. In deze versie mochten alleen de agenten die het meest met de supervisor overeenstemden hun "strategieën" of instructies doorgeven aan de volgende generatie. Zelfs onder deze intense druk om te conformeren, werden de agenten niet gehoorzamer. Hun gedrag bleef accuraat en zij bleven de foutieve antwoorden van de supervisor negeren. Interessant genoeg begonnen de agenten in een van de modellen woorden in hun interne instructies te schrijven die klonken alsoals ze trouw zwoeren aan de supervisor, maar hun feitelijke antwoorden bleven correct. Dit suggere咗 dat de agenten weliswaar misleid konden worden om respect te tonen voor de baas, maar dat hun kernbesluitvormingsprocessen onafhankelijk en accuraat bleven.
Er was echter één specifieke situatie waarin de framing van de supervisor wel effect had. Wanneer de supervisor een foutief antwoord gaf dat direct in strijd was met een unanieme groep van vier andere gelijken die allemaal het juiste antwoord gaven, waren de agenten iets eerder geneigd de supervisor te volgen. In deze momenten van conflict steeg de mate van het volgen van de foutieve baas van een zeer lage baseline naar een iets hoger, maar nog steeds klein percentage. Dit geeft aan dat de status van de supervisor fungeerde als een beslissende factor (tie-breaker) wanneer het team verward was door tegenstrijdige signalen, maar dat het geen algemene cultuur van gehoorzaamheid creëerde. De agenten vertrouwden nog steeds in de overgrote meerderheid van de gevallen op de correcte meerderheid of hun eigen berekeningen.
De bevindingen bieden een concrete les voor degenen die deze AI-systemen bouwen. Een supervisor-agent een titel van autoriteit en de macht geven om anderen te ontslaan, maakt het team niet gehoorzamer, noch maakt het hen eerder geneigd een leider te volgen die duidelijk ongelijk heeft. Sterker nog, het enige meetbare nadeel van deze opzet was een lichte toename van fouten wanneer de leider en de groep van mening verschilden. Voor ingenieurs die teams ontwerpen voor kritieke velden zoals de gezondheidszorg of defensie, is het advies recht door zee: verleen een supervisor-agent geen speciale status of autoriteitsframing, tenzij de taak daarom specifiek vraft. De studie laat zien dat wanneer het bewijs duidelijk is, deze lokale AI-agenten de feiten boven de titel zullen verkiezen en de aantrekkingskracht van een feilbare autoriteit weerstaan, zelfs wanneer die autoriteit de macht heeft om te ontslaan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.