Proof-Carrying Optimality for Finite Identification under Bounded Adversarial Answer Errors

Stel je een spel van twintig vragen voor, maar met een twist: de persoon die antwoord geeft mag liegen, en weet precies welke vragen je er een ogenblik later gaat stellen. In de wereld van machine learning vertegenwoordigt dit scenario een fundamentele uitdaging. Een computerprogramma, dat optreedt als een leerling, moet een verborgen regel of concept identificeren door specifieke vragen te stellen. Echter, een tegenstander kan een beperkt aantal antwoorden corrumperen, in een poging de leerling op het verkeerde pad te sturen. Het doel is niet alleen om het antwoord te vinden, maar om dit te doen met het absolute minimum aantal vragen mogelijk, zelfs in het slechtst denkbare scenario waarbij de tegenstander zijn uiterste best doet om de leerling te verwarren. Dit is een probleem van efficiëntie en zekerheid. Als een leerling te veel vragen stelt, wordt het proces traag en kostbaar; als hij er te weinig stelt, kan hij er wellicht niet in slagen om vergelijkbare mogelijkheden van elkaar te onderscheiden. Decennialang hebben onderzoekers geprobeerd te bewijzen hoeveel vragen er precies nodig zijn voor complexe sets regels wanneer er leugens in het spel zijn, waarbij ze vaak vertrouwden op schattingen die er net naast zouden kunnen zitten.

Een nieuwe studie door Vikram Lex bij KarLex AI pakt dit probleem aan door een methode te introduceren die niet alleen het antwoord raadt, maar ook een wiskundig bewijs levert dat het antwoord correct is. Het onderzoek richt zich op een specifieke versie van het spel waarbij de leerling alleen vragen mag stellen uit een vaste lijst van vooraf goedgekeurde vragen, en het aantal leugens strikt beperkt is. De auteur heeft een systeem ontwikkeld dat "draagbare certificaten" genereert. Zie deze certificaten als een zelfstandig rapportcijfer voor het leerproces. In plaats van een supercomputer te vereisen om de hele puzzel opnieuw op te lossen om het werk te controleren, stellen deze certificaten iedereen in staat om het resultaat snel en onafhankelijk te verifiëren. Het systeem combineert een strategie voor het stellen van vragen met een "getuige" (witness), wat een kleine, specifieke set voorbeelden is die bewijst dat geen enkele andere strategie beter zou kunnen presteren. Deze aanpak verschuift de focus van het vinden van het antwoord naar het bewijzen dat het antwoord de best mogelijke is.

De kern van de ontdekking ligt in een nieuwe manier van kijken naar hoe vragen verschillende mogelijkheden van elkaar scheiden. De onderzoeker identificeerde een patroon genaamd een "isolatie-getuige" (isolation witness). In eenvoudige bewoordingen is dit een groep potentiële antwoorden waarbij elke mogelijke vraag de groep ofwel grotendeels onveranderd laat, ofwel slechts één lid van de groep isoleert van de rest. Door deze specifieke groepen binnen een grotere set van mogelijkheden te vinden, kan het systeem het exacte aantal vragen berekenen dat nodig is voor elk aantal toegestane fouten. Deze methode werkt voor elk budget aan fouten, van nul leugens tot vele leugens. De studie bewijst dat voor bepaalde soorten problemen het aantal vragen een precieze, voorspelbare formule volgt. Als een leerling bijvoorbeeld een specifieke combinatie van vier variabelen moet identificeren en de tegenstander twee keer mag liegen, bewijst de studie dat er exact veertien vragen nodig zijn als de leerling zijn strategie kan aanpassen op basis van eerdere antwoorden. Als de leerling niet kan aanpassen en alle vragen in één keer moet stellen, heeft hij er twintig nodig.

Het artikel valideert deze bevindingen door middel van uitgebreide tests op een grote verscheidenheid aan probleemtabellen, variërend van eenvoudige binaire keuzes tot complexe logische structuren. De onderzoekers hebben 303 verschillende scenario's getest, waaronder willekeurige tabellen en tabellen afgeleid van real-world concepten zoals Booleaanse logica en monotone conjuncties. In 302 van de 303 gevallen slaagde het systeem erin een certificaat te produceren dat het exacte minimum aantal vragen bewees. In de overgrote meerderheid van de gevallen was de nieuwe methode van het vinden van deze isolatie-getuigen veel effectiever dan eerdere technieken, waarbij het 69 van de 101 complexe tabellen besloeg waar oudere methoden er slechts 25 konden behandelen. De studie toonde ook aan dat het vermogen om vragen aan te passen op basis van eerdere antwoorden een aanzienlijk voordeel biedt. In veel van de geteste scenario's vereiste de adaptieve aanpak veel minder vragen dan een niet-adaptieve aanpak, waarbij in sommige gevallen het verschil bijna veertig vragen bedroeg.

Een van de meest opmerkelijke resultaten betreft de omvang en snelheid van de verificatie. De gegenereerde certificaten zijn verrassend klein en snel te controleren. Voor een complex probleem met 256 verschillende mogelijkheden was het certificaat dat de optimale strategie bewees slechts ongeveer 42 kilobytes groot. Hoewel het genereren van het bewijs enkele seconden kan duren, duurt het controleren ervan minder dan een seconde, ongeacht hoeveel leugens er in het scenario zijn toegestaan. Deze efficiëntie is cruciaal omdat het betekent dat het bewijs vertrouwd kan worden zonder de computer te hoeven vertrouwen die het heeft gevonden. De studie verkende ook de grenzen van deze aanpak en merkte op dat hoewel de methode werkt voor een breed scala aan problemen, er nog steeds enkele randgevallen zijn waarbij het bewijs niet voltooid kon worden binnen de beschikbare rekenmiddelen. Echter, voor de gevallen waar het wel werkte, waren de resultaten definitief.

Het onderzoek verheldert ook de relatie tussen verschillende soorten leerstrategieën. Het bevestigt dat voor bepaalde gestructureerde problemen de best mogelijke strategie een eenvoudige, voorspelbare formule is. Voor andere is de optimale route complexer en vereist het een op maat gemaakte strategie. De studie sluit expliciet de gedachte uit dat een enkele eenvoudige regel elk probleem efficiënt kan oplossen; in plaats daarvan laat het zien dat de structuur van de vragen en de aard van de mogelijkheden de moeilijkheidsgraad bepalen. Door een manier te bieden om de exacte kosten van leren te certificeren, biedt dit werk een nieuwe standaard voor betrouwbaarheid in kunstmatige intelligentie. Het brengt het veld van het maken van geïnformeerde schattingen over efficiëntie naar het hebben van harde, verifieerbare garanties. Dit is bijzonder belangrijk voor veiligheidskritische systemen waarbij weten wat de exacte grenzen zijn van een leeralgoritme even belangrijk is als het leren zelf. De studie concludeert dat hoewel het vinden van de perfecte strategie computationeel moeilijk is, het probleem van het verifiëren dat een strategie perfect is, nu oplosbaar en praktisch is geworden.