Position: Certified Correctness in Neural Constraint Reasoning Requires Symbolic Integration
Dit position paper betoogt dat om bewijsbare correctheid in neurale constraint-redenering te waarborgen, in het bijzonder voor NP-volledige problemen zoals Sudoku waarbij verificatie efficiënt is maar oplossen moeilijk, neurale methoden bidirectioneel geïntegreerd moeten worden met symbolische solvers in plaats van te vertrouwen op puur leren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie gaapt er een groeiende kloof tussen twee manieren van denken. Aan de ene kant zijn er systemen die leren door naar enorme hoeveelheden data te kijken, patronen te herkennen en weloverwogen gissingen te doen. Deze systemen zijn ongelooflijk flexibel en kunnen omgaan met rommelige, reële inputs zoals foto's of gesproken woorden. Aan de andere kant zijn er systemen die strikte, onbreekbare regels volgen, zoals een wiskundeleraar die een huiswerkopdracht controleert. Deze regelgebaseerde systemen zijn rigide en hebben moeite met alles wat niet perfect geformatteerd is, maar ze maken nooit een logische fout. Jarenlang hebben onderzoekers gehoopt dat de patroonherkenningssystemen uiteindelijk zelfstandig de regels perfect zouden leren volgen, waardoor de rigide, regelvolgende aanpak overbodig zou worden. Maar een nieuwe lijn van onderzoek suggereert dat voor bepaalde soorten problemen deze hoop ongegrond is. Wanneer de inzet hoog is en de regels absoluut zijn, zal een systeem dat alleen maar gokt, hoe slim het ook is, uiteindelijk falen. De vraag is niet langer of we een machine kunnen bouwen die meestal gelijk heeft, maar of we er een kunnen bouwen die bewezen gelijk heeft.
Deze spanning vormt de kern van een recente position paper door de onderzoekers Shufeng Kong, Xiaochuan Zhang en Caihua Liu. Zij stellen dat voor problemen waarbij de regels hard zijn en de kosten van een fout hoog zijn, kunstmatige intelligentie moet stoppen met het proberen om de regels vanaf nul te leren, en in plaats daarvan zijn leervermogen moet combineren met een traditionele, regelcontrolerende motor. Om hun punt te bewijzen, hebben ze gekozen voor Sudoku, het populaire puzzelspel. Sudoku is een perfecte testcase omdat het eenvoudig is om te controleren of een oplossing correct is — je kijkt simpelweg naar de rijen en kolommen om te zien of getallen zich herhalen — maar het is zeer moeilijk om een oplossing vanaf nul te genereren. De onderzoekers ontdekten dat hoewel moderne AI-modellen eenvoudige puzzels met bijna perfecte nauwkeurigheid kunnen oplossen, ze in elkaar storten wanneer de puzzels iets anders of moeilijker worden. Zelfs wanneer deze modellen extra tijd krijgen om na te denken en hun eigen werk te controleren, produceren ze nog steeds oplossingen die de regels breken. In contrast hiermee bereiken systemen die een traditionele regelchecker gebruiken om de antwoorden van de AI te verifiëren, een perfecte nauwkeurigheid met veel minder voorbeelden.
De onderzoekers toonden aan dat het vertrouwen op louter statistisch leren een valstrik is voor dit soort problemen. Ze lieten zien dat wanneer een neuraal netwerk, een type AI dat leert van data, probeert een puzzel op te lossen die het nog niet eerder heeft gezien, het vaak een antwoord produceert dat er correct uitziet maar verborgen fouten bevat. Deze fouten zijn niet slechts kleine vergissingen; het zijn fundamentele schendingen van de logica die vereist is om de puzzel op te lossen. Het team kwam erachter dat het simpelweg geven van meer rekenkracht aan de AI of het vragen aan de AI om veel mogelijke antwoorden te genereren en het beste te kiezen, het probleem niet oplost. De AI wordt misschien beter gemiddeld, maar kan niet garanderen dat één specifiek antwoord correct is. Dit is een cruciaal onderscheid. Een systeem dat "meestal gelijk heeft" is fundamenteel verschillend van een systeem dat "bewezen gelijk heeft". In vakgebieden zoals planning, veiligheidscontroles of codegeneratie kan een enkele fout catastrofaal zijn, waardoor de "meestal gelijk hebben"-aanpak onacceptabel is.
Om dit op te lossen, stellen de auteurs een nieuwe manier voor om deze systemen te bouwen, die zij "bidirectionele integratie" noemen. In plaats van de AI alles te laten doen, suggereren zij het werk te splitsen. De AI fungeert als een snelle, intuïtieve generator, die zijn patroonherkenning gebruikt om snel een kandidaatsoplossing te bedenken. Deze kandidaat wordt vervolgens doorgegeven aan een strikte, regelvolgende verifieerder. Deze verifieerder fungeert als een poortwachter. Als de oplossing slaagt voor de controle, wordt deze geaccepteerd. Als deze faalt, zegt de verifieerder niet alleen "nee"; de verifieerder wijst de AI precies op waar de fout zit, zoals het aangeven dat twee getallen in dezelfde rij identiek zijn. De AI gebruikt vervolgens deze specifieke feedback om de gok aan te passen en het opnieuw te proberen. Als de AI het probleem na een paar pogingen niet kan oplossen, draagt het systeem de taak over aan een traditionele, langzame-maar-perfecte solver die een correct antwoord garandeert. Dit creëert een vangnet waarbij de snelheid van de AI behouden blijft, maar de betrouwbaarheid van het regelgebaseerde systeem nooit in het gedrang komt.
De onderzoekers testten deze aanpak in verschillende moeilijke gebieden, waaronder het genereren van computercode en het oplossen van complexe routeproblemen voor voertuigen. In elk geval presteerde het hybride systeem beter dan de AI die alleen werkte. Bijvoorbeeld, bij het genereren van code kan de AI alleen een programma produceren dat er goed uitziet maar niet werkt. Door een stap toe te voegen waarbij de code daadwerkelijk wordt getest door een compiler voordat deze wordt geaccepteerd, corrigeert het systeem zijn eigen fouten en bereikt het een veel hoger succespercentage. Op dezelfde manier verminderde de hybride methode bij voertuigroutering het aantal onmogelijke routes van een aanzienlijk percentage naar bijna nul. De belangrijkste bevinding is dat de AI de regels van de logica zelf niet hoeft te leren; het hoeft alleen te leren hoe het goede ideeën kan voorstellen, terwijl het zware werk om te waarborgen dat die ideeën geldig zijn, wordt overgelaten aan de symbolische engine.
Dit werk daagt het heersende idee uit dat grotere en krachtigere AI-modellen uiteindelijk zelfstandig in staat zullen zijn om alle logische beperkingen te hanteren. De auteurs betogen dat geen enkele hoeveelheid data of rekenkracht de kloof tussen een statistische gok en een logische zekerheid voor dit soort problemen kan overbruggen. Zij suggereren dat de toekomst van betrouwbare AI in beperkte omgevingen niet ligt in het vervangen van de oude regelgebaseerde methoden, maar in het maken van partners met de nieuwe leermethoden. Door de AI de rommelige, ongestructureerde delen van een probleem te laten afhandelen en de regelchecker de uiteindelijke verificatie te laten verzorgen, kunnen we systemen bouwen die zowel snel als betrouwbaar zijn. Het artikel concludeert met een oproep aan de wetenschappelijke gemeenschap om niet langer "meestal correct" als succesmetriek voor deze taken te accepteren, maar te eisen dat systemen hun correctheid kunnen bewijzen, zodat we er zeker van zijn dat wanneer we vertrouwen op machines om beslissingen te nemen, die beslissingen niet alleen waarschijnlijk juist zijn, maar gegarandeerd zo zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.