Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation

In de wereld van kunstmatige intelligentie worden computers opmerkelijk goed in het lezen en begrijpen van menselijke taal. Ze kunnen vragen beantwoorden, verhalen samenvatten en zelfs controleren of een bewering van een feit waar is. Deze systemen hebben echter vaak een verborgen zwakte: ze zijn broos. Net als een kind dat leert een hond te herkennen alleen door de kleur van de vacht, kan een AI leren een probleem op te lossen door een specifiek woord te herkennen in plaats van de werkelijke betekenis te begrijpen. Als je dat woord verandert of de zin licht aanpast, kan de computer volledig falen, ook al is de betekenis niet veranderd. Deze kwetsbaarheid is een grote hindernis voor het bouwen van betrouwbare technologie. Onderzoekers proberen dit al lang te verhelpen door de computer meer voorbeelden te voeren, maar simpelweg meer data toevoegen versterkt vaak alleen dezelfde slechte gewoonten. De echte uitdaging is niet alleen het vinden van meer data, maar het vinden van de specifieke soorten fouten die de computer kunnen leren om dieper na te denken.

Een team onderzoekers aan de Ben Gurion Universiteit heeft een nieuwe manier ontwikkeld om deze systemen te onderwijzen door zich volledig te concentreren op hun fouten. In plaats van te proberen duizenden willekeurige voorbeelden te genereren in de hoop dat er enkele nuttig zijn, werkt hun methode als een slim filter dat leert waar het op moet falen. Ze creëerden een systeem dat eerst moeilijke zinnen genereert die ontworpen zijn om een computermodel te misleiden. Wanneer het model deze zinnen fout heeft, gooit het systeem deze zinnen niet zomaar weg of houdt het ze allemaal aan. In plaats daarvan groepeert het deze fouten in categorieën, zoals fouten veroorzaakt door verwarrende ontkenning, het door elkaar halen van namen, of het missen van een logische tegenstrijdigheid. Het systeem gebruikt vervolgens een leerstrategie om te beslissen welke van deze foutcategorieën het meest waardevol zijn om te bestuderen. Het behandelt de selectie van deze fouten als een spel waarbij het doel is om de zetten te kiezen die de score van de speler het meest verbeteren, waarbij een balans wordt gezocht tussen de noodzaak om nieuwe dingen te leren en het risico op het vergeten van wat het al weet.

Het proces begint met een computermodel dat al getraind is om taal te begrijpen. De onderzoekers vragen een krachtige taalgenerator om nieuwe zinnen te maken die lijken op echte voorbeelden, maar bedoeld zijn om lastig te zijn. Deze nieuwe zinnen worden vervolgens getest tegen het model. Als het model ze goed heeft, worden ze weggegooid. Als het model ze fout heeft, controleert het systeem het antwoord met een panel van andere AI-rechters om er zeker van te zijn dat de fout echt is en niet slechts een glitch. Zod('maal een fout is bevestigd, wordt deze gesorteerd in een specifiek type fout. Eén groep kan bijvoorbeeld alle fouten bevatten waar het model een "ja" met een "nee" heeft verward, terwijl een andere groep fouten bevat waar het model niet merkte dat twee mensen verschillend waren.

De kerninnovatie is hoe het systeem bepaalt welke groepen het vervolgens gaat bestuderen. Het kiest niet willekeurig, noch gebruikt het een vaste regel. In plaats daarvan gebruikt het een leerbeleid dat de kenmerken van elke foutengroep observeert, zoals hoeveel fouten er in de groep zitten, hoe verward het model was, en hoeveel het model in het verleden is verbeterd toen het soortgelijke fouten bestudeerde. Het systeem selecteert een mix van deze groepen om het model opnieuw te trainen. Na het hertrainen controleert het of het model daadwerkelijk beter is geworden in het afhandelen van deze moeilijke gevallen zonder slechter te worden in de gemakkelijke zaken. Deze feedbackloop zorgt ervoor dat het systeem leert welke soorten fouten het meest nuttig zijn om te herstellen. Het is een zelfverbeterende cyclus waarbij de datacurator, het deel van het systeem dat de voorbeelden kiest, de leerling wordt, die constant zijn strategie aanpast om de meest impactvolle lessen te vinden.

Toen de onderzoekers deze aanpak testten op standaard taalbegripstaken, waren de resultaten significant. Ze begonnen met een model dat al vrij goed was, met een score van ongeveer 88 procent op een test genaamd SNLI. Na het toepassen van hun methode, die het genereren en zorgvuldig selecteren van specifieke foutvoorbeelden inhield, steeg de score van het model naar meer dan 92 procent. Op andere moeilijke tests waren de verbeteringen nog dramatischer, waarbij één benchmark sprong van ongeveer 54 procent naar bijna 72 procent. Deze winsten werden behaald zonder dat menselijke experts nieuwe voorbeelden schreven of nieuwe data labelden. Het systeem genereerde de voorbeelden zelf, valideerde ze automatisch en leerde welke het moest gebruiken. De onderzoekers lieten ook zien dat deze methode werkt op verschillende soorten taken, zoals het verifiëren van feiten, waarbij het een groot model hielp een nauwkeurigheid van meer dan 82 procent te bereiken.

De studie voert expliciet argumenten aan tegen het idee dat het simpelweg genereren van enorme hoeveelheden synthetische data de beste manier is om AI te verbeteren. Ze vonden dat ongerichte data, zelfs wanneer gegenereerd door krachtige computers, het leerproces vaak verwateren omdat het te veel gemakkelijke of irrelevante voorbeelden bevat. Hun methode bewijst dat kwaliteit belangrijker is dan kwantiteit. Door zich te concentreren op de specifieke manieren waarop een model faalt en te leren die fouten te prioriteren, wordt het systeem robuuster. De onderzoekers toonden ook aan dat hun aanpak voorkomt dat het model vergeet wat het al wist, een veelvoorkomend probleem bij het trainen op moeilijke nieuwe data. Ze bereikten dit door de nieuwe, moeilijke voorbeelden zorgvuldig te mengen met de originele, gemakkelijke voorbeelden tijdens het trainingsproces, om zo een balans te waarborgen tussen het leren van nieuwe vaardigheden en het behouden van oude kennis.

Dit werk suggereert een nieuwe weg voor het betrouwbaarder maken van kunstmatige intelligentie. In plaats van te vertrouwen op menselijke experts om handmatig elk moeilijk voorbeeld te cureren, kan het systeem leren om zijn eigen zwakheden te identificeren en op zoek te gaan naar de specifieke lessen die het nodig heeft om deze te overwinnen. De onderzoekers vonden dat deze adaptieve aanpak effectiever is dan statische methoden die vaste regels gebruiken om data te selecteren. Hoewel de studie werd uitgevoerd op specifieke taaltaken, kan het onderliggende principe van leren van foutmodi worden toegepast op veel andere gebieden waar machines robuust moeten zijn. De bevindingen wijzen erop dat door het dataselectieproces zelf een lerend agens te laten worden, we systemen kunnen bouwen die niet alleen slimmer zijn, maar ook meer aanpasbaar en minder vatbaar voor de soorten fouten die momenteel hun bruikbaarheid beperken.