Probabilistic Circuits as Reasoning Machines in Artificial Intelligence (Part I)
Dit eerste deel van een cumulatieve habilitatie-thesis pleit voor probabilistische circuits als een tractabel kader voor AI-redeneren en leren onder onzekerheid, waarbij een decennium aan onderzoek naar hun fundamentele theorie, leeralgoritmen, schaalbare implementaties en integratie met diepe en symbolische machine learning-paradigma's wordt gesynthetiseerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de zoektocht naar het bouwen van machines die kunnen denken, debatteren wetenschappers al lang over de beste taal voor intelligentie. Eén kamp pleit voor rigide logica, waarbij feiten absoluut zijn en conclusies strikte regels volgen. Een ander geeft de voorkeur aan neurale netwerken, systemen die leren door patronen te herkennen in enorme hoeveelheden data, vergelijkbaar met een menselijk brein. Maar er is een derde, oudere weg die onzekerheid niet behandelt als een fout die moet worden gecorrigeerd, maar als een fundamenteel kenmerk van de wereld. Deze benadering leunt op waarschijnlijkheid, een wiskundig kader dat een systeem in staat stelt om te zeggen: "Ik weet het niet zeker, maar dit is hoe waarschijnlijk verschillende uitkomsten zijn." Het is de taal van risico, van het voorspellen van het weer, of van een arts die symptomen afweegt tegen een diagnose. De kracht van waarschijnlijkheid ligt in het vermogen om het bekende te combineren met het onbekende, en overtuigingen bij te stellen naarmate er nieuwe bewijzen arriveren. Echter, decennialang is deze elegante taal moeilijk in de praktijk te gebruiken gebleken. Hoewel de regels voor redeneren met waarschijnlijkheid eenvoudig zijn, vereist het daadwerkelijk uitvoeren van de berekeningen voor complexe werkelijkheidsproblemen vaak een onmogelig aantal stappen van een computer, wat langer duurt dan het tijdperk van het universum om te voltooien.
Robert Peharz, een onderzoeker aan de Technische Universiteit Graz, werkt al een decennium aan het oplossen van deze computationele flessenhals. Zijn werk richt zich op een specifiek type model dat een probabilistisch circuit wordt genoemd. Stel je een enorme, vertakkende boom voor waarbij elk blad een simpel stukje informatie vertegenwoordigt, en elke tak deze stukjes combineert om een compleet beeld van de wereld te vormen. In standaardmodellen vereist het berekenen van de waarschijnlijkheid van een specifiek scenario het traceren van elke mogelijke route door deze boom, een taak die exponentieel moeilijker wordt naarmate de boom groter wordt. Peharz' onderzoek toont aan dat door een paar strikte architecturale regels op te leggen aan hoe deze takken verbinding maken, we de gehele berekening snel en exact kunnen maken. Deze regels zorgen ervoor dat het model nooit vastloopt in een poging om elke mogelijkheid te tellen. In plaats daarvan kan het direct complexe vragen beantwoorden, zoals het voorspellen van de meest waarschijnlijke oorzaak van een reeks symptomen of het bepalen van de waarschijnlijkheid van een specifieke gebeurtenis gegeven een berg aan data.
De kern van Peharz' bijdrage is het inzicht dat deze circuits niet slechts een nieuwe uitvinding zijn, maar een verenigende taal voor vele bestaande methoden. Hij laat zien dat diverse modellen, van rekenkundige circuits tot sum-product netwerken, eigenlijk verschillende namen zijn voor dezelfde onderliggende structuur. Door ze als één samenhangende familie te behandelen, is hij erin geslaagd een reeks standaardinstrumenten te ontwikkelen die breed inzetbaar zijn. Een van zijn belangrijkste bevindingen is dat deze circuits gebouwd kunnen worden om "glad" en "decomponeerbaar" te zijn. In eenvoudige bewoordingen betekent dit dat het model zo is georganiseerd dat het nooit twee stukjes informatie probeert te vermenigvuldigen die afhankelijk zijn van dezelfde onbekende factor, en dat het nooit twee verschillende mogelijkheden bij elkaar optelt die verschillende verzamelingen feiten dekken. Deze structurele beperkingen fungeren als een verkeerssysteem voor de berekeningen van de computer, waardoor ze verkeersopstoppingen voorkomen en ervoor zorgen dat informatie soepel van de onderkant van de boom naar de bovenkant stroomt.
Vanwege deze organisatie kan de computer taken uitvoeren die voorheen als te moeilijk werden beschouwd. Het kan bijvoorbeeld de gemiddelde uitkomst van een situatie berekenen of de meest waarschijnlijke verklaring voor een reeks waarnemingen vinden in een fractie van een seconde. Peharz heeft ook aangetoond hoe men deze circuits kan leren van data. Hij ontwikkelde methoden waarmee het model zijn interne gewichten automatisch kan aanpassen, waardoor het de beste fit voor de data vindt zonder dat er geraden hoeft te worden. Bovendien heeft hij bewezen dat deze circuits gecombineerd kunnen worden met andere krachtige, maar computationeel zware machine learning-tools. Door het probabilistische circuit te gebruiken als een snelle, betrouwbare motor om de gemakkelijke delen van een probleem af te handelen, en de langzamere, complexere modellen de moeilijke delen te laten doen, wordt het systeem als geheel zowel krachtig als efficiënt. Deze hybride benadering stelt onderzoekers in staat om modellen te bouwen die niet alleen accuraat zijn, maar ook in staat zijn hun redenering uit te leggen.
Het werk overbrugt ook de kloof tussen statistisch leren en symbolische logica. Peharz demonstreerde dat deze circuits getransformeerd kunnen worden naar beslissingsbomen, een klassieke methode voor het maken van keuzes op basis van regels. Deze verbinding stelt het systeem in staat om ontbrekende data gracieus af te handelen; als een stuk informatie ontbreekt, kan het circuit simpelweg die tak negeren en nog steeds een geldig antwoord geven, in plaats van te falen. Hij paste deze ideeën ook toe op het gebied van cybersecurity, waarbij hij de circuits gebruikte om fysieke zijkanalen te analyseren, zoals het stroomverbruik, om geheime encryptiesleutels te achterhalen. In deze tests was de circuit-gebaseerde benadering aanzienlijk succesvoller en robuuster tegen ruis dan eerdere methoden.
Gedurende zijn onderzoek heeft Peharz een veelvoorkomend misverstand in het vakgebied geadresseerd: het idee dat men moet kiezen tussen een model dat gemakkelijk te berekenen is en een model dat expressief genoeg is om de complexe realiteit te beschrijven. Zijn resultaten laten zien dat dit een vals dilemma is. Hoewel er grenzen zijn aan hoe compact een probabilistisch circuit bepaalde soorten data kan representeren, heeft hij aangetoond dat deze modellen voor veel praktische toepassingen net zo goed zijn als, of zelfs beter dan, de meer complexe, onhandelbare alternatieven. Hij heeft ook verduidelijkt dat het toevoegen van bepaalde kenmerken, zoals ongenormaliseerde gewichten, de kracht van het model niet daadwerkelijk vergroot, een bevinding die helpt bij het vereenvoudigen van het ontwerp van deze systemen.
Het uiteindelijke doel van dit werk is het creëren van kunstmatige intelligentie die niet alleen slim is, maar ook betrouwbaar en begrijpelijk. Door AI te funderen in de strikte regels van waarschijnlijkheid en ervoor te zorgen dat de berekeningen exact en snel uitgevoerd kunnen worden, biedt Peharz' onderzoek een fundament voor machines die met evenveel vertrouwen als een menselijke expert kunnen redeneren onder onzekerheid. Deze benadering gaat voorbij aan de "black box"-aard van veel moderne AI-systemen en biedt een manier om precies te zien hoe een conclusie is bereikt. Naarmate deze methoden worden geïntegreerd in deep learning-frameworks en worden gecombineerd met andere technologieën, beloven ze kunstmatige intelligentie betrouwbaarder te maken, in staat om de rommelige, onzekere realiteit van de wereld aan te pakken zonder snelheid of nauwkeurigheid op te offeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.