Stel je voor dat je een enorme talentenjacht organiseert, maar in plaats van slechts één jury, heb je een panel van duizenden. In de wereld van machine learning zijn deze "juryleden" vaak verschillende taken of tests die worden gebruikt om te zien hoe slim een AI is. Het probleem is, wat als iemand honderd juryleden binnensmokkelt die identieke tweelingen zijn? Of wat als ze duizend juryleden meebrengen die 99% hetzelfde lijken en zich hetzelfde gedragen? Als je simpelweg elke stem van elke jurylid even zwaar meetelt, zouden de tweelingen de unieke stemmen overstemmen, wat de eindscore vervormt en de winnaar beter (of slechter) doet lijken dan hij werkelijk is. Dit is het probleem van "redundantie-bias" (overtolligheid-bias). Wetenschappers in het vakgebied van kunstmatige intelligentie en sociale keuzetheorie maken zich al lang zorgen over hoe ze deze juryleden eerlijk moeten wegen wanneer ze niet allemaal uniek zijn. Ze weten dat als je een groep zeer vergelijkbare items hebt, ze niet dezelfde totale macht mogen hebben als een groep volkomen verschillende items; ze moeten het middelpunt van de belangstelling delen.

Dit artikel, geschreven door Damien Berriaud en Roger Wattenhofer, pakt de vraag aan hoe je eerlijke "gewichten" toe kent aan deze items in een wiskundige ruimte waar afstand "gelijkenis" betekent. Denk erom als een manier om ervoor te zorgen dat als je een kloon van een taak aan je benchmark toevoegt, het systeem niet in de war raakt of onrechtvaardig bevooroordeeld wordt. De auteurs stellen een nieuwe set regels voor, of "axioma's", die elk goed wegingsysteem zou moeten volgen. Ze stellen een methode voor genaamd "lokale stemming" (local voting), waarbij elk punt in de ruimte een stem uitbrengt op zijn buren, en het uiteindelijke gewicht een berekening is van hoeveel "stemkracht" elk item verzamelt. Ze bewijzen dat deze methode wiskundig werkt voor standaard geometrische ruimtes (zoals de 3D-ruimte waarin wij leven) en bieden een manier om deze gewichten te berekenen met behulp van willekeurige steekproeven, ook al zou het exact berekenen van de wiskunde onmogelijk traag zijn.

De Rode Pil, de Blauwe Pil en de Indigo Pil

Laten we beginnen met een scène uit een film die je misschien kent. Neo krijgt een keuze aangeboden: een blauwe pil om wakker te worden in zijn normale leven, of een rode pil om de waarheid te zien. Maar stel je een derde optie voor: een indigo pil die hem wakker maakt in dezelfde magische wereld, maar met honderd dollar in zijn zak. Dan biedt Morpheus een marineblauwe pil aan met een andere haarkleur, een bordeauxrode pil, een cyaan pil en een groene pil. Waarom zou hij zoveel tinten blauw aanbieden? Omdat als je alleen de pillen telt, de categorie "blauw" plotseling veel belangrijker lijkt dan de categorie "rood", ook al zijn ze allemaal variaties op hetzelfde idee.

Dit is precies het probleem dat de auteurs oplossen. In de wereld van AI-benchmarks (die als rapportcijfers dienen voor computerprogramma's) combineren onderzoekers vaak scores van veel verschillende taken. Als een benchmark een taak genaamd "CoLA" bevat en er vervolgens tien licht verschillende versies van "CoLA" aan toevoegt, zou een simpel gemiddelde ervoor zorgen dat die tien versies 90% van de score bepalen. Dit is onrechtvaardig. Het is alsof een stemsysteem elke keer dat een persoon van shirt verandert, als een nieuwe stem telt. De auteurs willen een systeem bouwen dat zegt: "Hé, deze tien versies zijn eigenlijk dezelfde persoon; laten we het gewicht onder hen verdelen zodat ze niet de verkiezing domineren."

De Regels van het Spel

Om dit op te lossen, zetten de auteurs een speelveld op met enkele strikte regels, die ze "axioma's" noemen. Beschouw dit als de natuurwetten voor hun nieuwe wegingsysteem.

1. Positiviteit: Iedereen krijgt een kans. Geen enkele taak krijgt ooit een gewicht van nul. Zelfs de vreemde, eenzame taken krijgen een klein beetje aandacht.
2. Symmetrie: Als twee taken elkaars perfecte spiegelbeeld zijn (ononderscheidbaar volgens de regels van het spel), moeten ze exact hetzelfde gewicht krijgen.
3. Kloon-eerlijkheid: Dit is de belangrijkste. Als je twee taken hebt die bijna identiek zijn (zoals de indigo en marineblauwe pil), moeten ze bijna hetzelfde gewicht krijgen. Je kunt het systeem niet bedriegen door een "bijna-kloon" toe te voegen om alle macht van het origineel te stelen.
4. Continuïteit: Als je een taak een heel klein beetje verandert (zoals een testvraag licht aanpast), mag het gewicht ervan niet wild springen. Het systeem moet vloeiend zijn, niet schokkerig.
5. Lokale Stabiliteit: Als je een nieuwe kloon aan de groep toevoegt, mag dit alleen de gewichten van de dingen direct naast hem beïnvloeden. Het mag geen kettingreactie veroorzaken die het gewicht van een taak aan de andere kant van de kamer verandert.

De "Lokale Stemming" Oplossing

Hoe bereken je deze gewichten dan eigenlijk? De auteurs stellen een slim idee voor genaamd Lokale Stemming.

Stel je voor dat je een heleboel kiezelstenen (jouw taken) op een groot, vlak veld laat vallen. Stel je nu voor dat elke kiezelsteen een "invloedssfeer" om zich heen heeft—een bubbel van een bepaalde grootte. Als je ergens binnen die bubbel staat, ben je een "stemmer" voor die kiezelsteen.

Hier komt de twist: als je op een plek staat waar de bubbels van drie verschillende kiezelstenen overlappen, ben je een stemmer voor alle drie. Maar je hebt slechts één stem om uit te brengen. Dus verdeel je je stem gelijkmatig over hen. Als je in een bubbel staat waar slechts één kiezelsteen aanwezig is, geef je die kiezelsteen je volledige stem.

Het uiteindelijke gewicht van een kiezelsteen is de totale hoeveelheid "stemkracht" die hij verzamelt van alle stemmers in zijn omgeving. Als een kiezelsteen omringd is door veel klonen, is zijn bubbel druk. De stemmers in dat drukke gebied moeten hun stemmen verdelen over veel vergelijkbare kiezelstenen, waardoor elke kiezelsteen slechts een klein stukje van de taart krijgt. Als een kiezelsteen uniek en alleen is, krijgt hij alle stemmen uit zijn gebied.

De auteurs hebben wiskundig bewezen dat deze "Lokale Stemming"-methode aan al hun regels voldoet. Het behandelt klonen eerlijk, het is vloeiend wanneer dingen licht veranderen, en het laat niet toe dat één groep klonen het hele systeem kapen.

Het Wiskundige Probleem: Het is Moeilijk, Maar We Hebben een Hack

Er is een addertje onder het gras. Het exact berekenen van het gewicht met deze methode is ongelooflijk moeilijk. Stel je voor dat je elke denkbare plek in een 3D-ruimte probeert te tellen waar drie bubbels overlappen. In hogere dimensies (waar AI vaak mee werkt), explodeert het aantal overlappende regio's. Het is alsof je elk zandkorreltje op een strand probeert te tellen terwijl het vloed wordt. De auteurs geven toe dat het vinden van het exacte antwoord waarschijnlijk onmogelijk is om snel te doen voor grote problemen.

Maar maak je geen zorgen! Ze zijn niet alleen met een wiskundig probleem naar ons toegekomen en weggelopen. Ze hebben een "Monte Carlo"-methode bedacht. Dit is een chique manier om te zeggen: "gokken door middel van steekproeven." In plaats van elke stemmer te tellen, sluit je je ogen en kies je een paar willekeurige plekken in de bubbels. Je telt hoeveel kiezelstenen elke willekeurige plek voor welk object stemt, en je doet dit duizenden keren. Door het gemiddelde van deze willekeurige gokken te nemen, krijg je een zeer goede schatting van het ware gewicht.

Het artikel laat zien dat deze bemonsteringsmethode snel genoeg is om nuttig te zijn. Ze hebben zelfs de exacte hoeveelheid steekproeven genoteerd die je nodig hebt om een specifere nauwkeurigheidsgraad te bereiken. Bijvoorbeeld: als je 99% zeker wilt zijn dat je antwoord binnen een kleine foutmarge valt, moet je de simulatie een specifiek aantal keren draaien.

Wat Dit Betekent voor de Toekomst

De auteurs zijn voorzichtig om niet te beweren dat ze elk probleem in het universum hebben opgelost. Ze merken specifiek op dat hun methode perfect werkt voor "Euclidische ruimtes" (het soort geometrie dat we op school leren, waarbij lijnen recht zijn en cirkels rond). Ze wijzen erop dat als je de regels van de geometrie verandert (zoals een andere manier om afstand te meten), hun specifieke "Lokale Stemming"-truc de symmetrie kan breken. Ze suggereren dat we voor die vreemde, niet-standaard ruimtes wellicht geheel nieuwe ideeën nodig hebben die niet afhankelijk zijn van de vorm van de ruimte zelf.

Ze erkennen ook dat hoewel hun methode theoretisch solide is, de "exacte" berekening te traag is voor praktisch gebruik, wat verklaart waarom hun "sampling hack" zo belangrijk is. Ze hebben nog geen commercieel product gebouwd, maar ze hebben wel het wiskundige blauwdruk en een werkend prototype geleverd voor hoe het moet.

Kortom, dit artikel geeft ons een nieuwe, eerlijke manier om onze AI-tests te wegen. Het voorkomt dat de "leger klonen" het scorebord overneemt en zorgt ervoor dat elke unieke gedachte de eerlijke erkenning krijgt die het verdient, terwijl vergelijkbare ideeën de last delen. Het is een stap richting het waarborgen dat wanneer we zeggen dat een AI "slim" is, we bedoelen dat hij echt slim is, en niet alleen dat hij goed is in het duizend keer beantwoorden van dezelfde vraag.