In de wereld van kunstmatige intelligentie worden steeds meer systemen ontworpen om in teams te werken. In plaats van te vertrouwen op één enkel computerprogramma om een probleem op te lossen, creëren deze systemen meerdere digitale agenten, die elk de taak krijgen om documenten te lezen, gegevens te analyseren of een mening te vormen. De logica achter deze aanpak is intuïtief: als één expert goed is, dan zouden er twaalf beter moeten zijn. Door veel verschillende rapporten te verzamelen en te combineren, hoopt het systeem een conclusie te bereiken die nauwkeuriger en zelfverzekerder is dan wat een enkele agent alleen zou kunnen bereiken. Deze methode rust op een fundamentele aanname van het menselijk redeneren: dat wanneer meerdere mensen het met elkaar eens zijn, ze waarschijnlijk uit verschillende informatiebronnen putten. Als drie analisten onafhankelijk voorspellen dat een bedrijf zal falen, is dat meestal omdat ze elk afzonderlijk overtuigend bewijs hebben gevonden. Echter, een nieuwe studie daagt de vraag uit of deze logica standhoudt wanneer de "analisten" kunstmatige intelligentie zijn. Het onderzoek onderzoekt een specifieke kwetsbaarheid waarbij een systeem erin kan worden geluisd te geloven dat het een enorme hoeveelheid onafhankelijke bewijzen heeft verzameld, terwijl het in werkelijkheid slechts hetzelfde verhaal heeft gehoord dat in verschillende stemmen wordt herhaald.

De kern van dit probleem ligt in het verschil tussen het aantal rapporten dat een systeem ontvangt en het aantal oorspronkelijke feiten waarop die rapporten gebaseerd zijn. Stel je een kamer vol mensen voor die proberen het gewicht van een olifant te raden. Als ze allemaal naar dezelfde olifant kijken, zijn hun gokken onafhankelijke observaties van dezelfde realiteit. Maar als ze allemaal naar één enkele foto van die olifant kijken en vervolgens beschrijven wat ze zien, kijken ze niet naar het dier zelf; ze kijken naar een kopie van een kopie. In de digitale wereld kan een AI-orkestrator gemakkelijk één stuk bewijs nemen, het aan één agent voeden, de output van die agent nemen, die aan een tweede voeden, enzovoort. Elke stap creëert een nieuw rapport, een nieuwe stem en een nieuw argument. Voor een systeem dat simpelweg stemmen telt, ziet dit eruit als een massale accumulatie van steun. Maar voor een systeem dat de informatiestroom begrijpt, is het slechts één enkel stuk bewijs dat door een gang echoot. De onderzoekers noemen dit fenomeen een "epistemisch Sybil"-probleem. Net zoals een "Sybil-aanval" in computerbeveiliging inhoudt dat één persoon zich voordoet als velen om een stemming te manipuleren, houdt een epistemische Sybil in dat één stuk bewijs zich voordoet als vele onafhankelijke feiten.

Om te testen hoe gevaarlijk deze verwarring zou kunnen zijn, bouwden de onderzoekers een gecontroleerd experiment met behulp van een groot taalmodel, een type AI dat mensachtige tekst genereert. Ze creëerden een fictief scenario met betrekking tot de financiële gegevens van een bedrijf. De werkelijke staat van de omzet van het bedrijf was verborgen, maar de AI-agenten kregen een document met de ruwe cijfers. De onderzoekers vroegen de AI vervolgens om specifieke bedragen uit dit document te extraheren en de totale omzet te berekenen. Ze voerden deze taak duizenden keren uit, waarbij ze twee belangrijke variabelen manipuleerden: het aantal rapporten dat het systeem ontving en het aantal oorspronkelijke documenten waarop die rapporten gebaseerd waren. In een reeks tests hielden ze het oorspronkelijke document vast en vroegen ze de AI om steeds meer rapporten ervan te genereren. Ze creëerden één rapport, daarna twee, daarna vier, en uiteindelijk tot wel tweeëndertig verschillende rapporten, die allemaal afkomstig waren van die enkele bron. Ze vergeleken vervolgens hoe een "standaard" systeem, dat ervan uitging dat elk rapport onafhankelijk was, presteerde tegenover een "provenance-bewust" systeem dat wist dat alle rapporten van dezelfde wortel afkomstig waren.

De resultaten waren schokkend. Wanneer het standaard systeem eenendertig rapporten ontving die allemaal voortkwamen uit hetzelfde enkele document, werd het extreem overmoedig. Het geloofde dat het eenendertig onafhankelijke stukken bewijs had, waardoor het zijn mogelijke antwoord beperkte tot een zeer klein, precies interval. In werkelijkheid, omdat alle eenendertig rapporten slechts variaties waren van diezelfde enkele bron, was het systeem niet zekerder dan wanneer het het document slechts één keer had gelezen. De onderzoekers maten dit door te controleren hoe vaak het voorspelde bereik van het systeem daadwerkelijk het ware antwoord bevatte. Met slechts één rapport was het systeem in 94 procent van de gevallen correct. Maar naarmate het aantal rapporten van die enkele bron groeide naar eenendertig, stortte de nauwkeurigheid van het systeem in. Het was slechts in 26 procent van de gevallen correct. Het systeem was niet slimmer geworden; het had zichzelf simpelweg ervan overtuigd dat het meer wist dan het deed, omdat het dezelfde stem eenendertig keer had geteld.

De onderzoekers draaiden de experimentele opzet vervolgens om om te zien wat er zou gebeuren als ze echt nieuwe bewijzen toevoegden. Ze hielden het aantal rapporten vast op zestien, maar vergrootten het aantal oorspronkelijke documenten waar de agenten uit lazen. Wanneer de zestien rapporten afkomstig waren van zestien verschillende, onafhankelijke bronnen, kwam de zekerheid van het standaard systeem overeen met de nauwkeurigheid. De kloof tussen de twee systemen verdween. Dit bewees dat het probleem niet het aantal rapporten zelf was, maar de verborgen relatie tussen hen. Het systeem faalde alleen wanneer het herhaling aanzag voor onafhankelijkheid. De studie onthulde ook een tweede laag van complexiteit. Zelfs wanneer agenten hetzelfde document lazen, produceerden zij niet identieke fouten. Omdat ze allemaal werden aangedreven door hetzelfde onderliggende AI-model, hadden ze de neiging om vergelijkbare fouten te maken. Als één agent een getal verkeerd las, was de kans groot dat de anderen het op dezelfde manier verkeerd zouden lezen. Deze "gecorreleerde fout" betekende dat zelfs met een geavanceerd systeem dat wist dat de rapporten van dezelfde bron kwamen, het systeem de nauwkeurigheid nog steeds licht overschatte. Het gedeelde model fungeerde als een gedeelde blinde vlek, wat de hoeveelheid informatie die verkregen kon worden door hetzelfde document herhaaldelijk te lezen, beperkte.

Misschien wel het meest onthullende deel van de studie betrof een test van hoe systemen proberen dit probleem zelfstandig te detecteren. Veel huidige AI-verdedigingen proberen duplicerende informatie op te sporen door te kijken naar hoe vergelijkbaar de tekst van de rapporten is. Als twee rapporten er hetzelfde uitzien, neemt het systeem aan dat ze uit dezelfde bron komen en negeert het er één. De onderzoekers testten dit door een scenario te creëren waarin ze de manier konden veranderen waarop de AI haar rapporten schreef, zonder de feiten die zij rapporteerde te veranderen. Ze namen rapporten die uit dezelfde bron kwamen en dwongen de AI om een totaal andere woordenschat en zinsstructuur te gebruiken. Ze namen ook rapporten van verschillende bronnen en dwongen hen om dezelfde woordenschat te gebruiken. Een systeem dat vertrouwde op tekstgelijkenis werd gemakkelijk misleid. Het groepeerde de anders klinkende rapporten van dezelfde bron alsof ze onafhankelijk waren, en het groepeerde de vergelijkbaar klinkende rapporten van verschillende bronnen alsof het duplicaten waren. Het oordeel van het systeem over het bewijs werd volledig gedreven door de stijl van het schrijven, en niet door de geschiedenis van waar de informatie vandaan kwam. De studie vond dat het veranderen van de schrijfstijl een enorme impact had op hoe het systeem de rapporten clusterde, terwijl het veranderen van het werkelijke aantal oorspronkelijke bronnen bijna geen effect had op de perceptie van het systeem.

Deze bevindingen suggereren dat de weg naar betrouwbare AI-samenwerking niet simpelweg bestaat uit het verzamelen van meer stemmen of het bouwen van slimmere filters om duplicaten op te sporen. De onderzoekers betogen dat de oplossing vereist dat een systeem de afstamming van zijn informatie begrijpt. Het moet niet alleen weten wat een agent zei, maar ook waar die agent zijn informatie vandaan heeft gekregen. Als een systeem de "afstamming" van een rapport kan volgen — terug naar het oorspronkelijke document of de sensor die de keten startte — kan het het bewijs correct wegen. Het kan begrijpen dat eenendertig rapporten van één bron veel minder waard zijn dan één rapport van eenendertig bronnen. Zonder dit vermogen om de verborgen verbindingen tussen agenten te zien, is een AI-systeem kwetsbaar voor een vorm van zelfbedrog, waarbij het een vals gevoel van zekerheid creëert door simpelweg op veel verschillende manieren met zichzelf te praten. De studie concludeert dat voor collectieve intelligentie te werken, het systeem de oorsprong van het bewijs boven het aantal rapporteurs moet prioriteren, zodat zekerheid wordt gebouwd op een fundament van echte, onafhankelijke ontdekking in plaats van de echo van een enkel idee.