In het uitgestrekte landschap van de moderne wetenschap hebben weinig ideeën ons begrip van hoe machines leren zo diepgaand veranderd als het concept van waarschijnlijkheid. In de kern hiervan ligt een eenvoudige maar krachtige regel bekend als de stelling van Bayes, een wiskundig principe dat beschrijft hoe we onze overtuigingen moeten bijstellen wanneer we geconfronteerd worden met nieuw bewijs. Stel je een wetenschapper voor die een theorie heeft over hoe de wereld werkt; wanneer zij nieuwe gegevens observeren, vertelt deze regel hen precies hoe ze hun theorie moeten aanpassen om bij de feiten te passen. Decennialang hebben onderzoekers deze regel gebruikt om alles te bouwen, van weersvoorspellingsmodellen tot de kunstmatige intelligentiesystemen die onze smartphones aandrijven. Er bestaat echter een diepere, meer abstracte laag in dit proces die enigszins verborgen is gebleven. Het betreft een vreemde symmetrie, een soort spiegelbeeld, tussen de gegevens die we observeren en de verborgen regels die ze beheersen. Lange tijd werd deze symmetrie alleen begrepen in zeer specifieke, nauwe situaties, wat het nut ervan beperkte voor de complexe problemen waar de huidige technologie voor staat.

Een team van onderzoekers heeft nu een relatief obscuur idee uit de jaren 1990 herzien en uitgebreid tot een krachtig nieuw instrument. Het werk centreert zich rond een concept genaamd Bayesiaanse dualiteit, oorspronkelijk voorgesteld door de gerenommeerde wetenschapper Shun'ichi Amari. In zijn oorspronkelijke vorm beschreef deze theorie een perfecte, één-op-één relatie tussen twee verschillende manieren om naar een probleem te kijken: één gericht op de gegevens die we zien, en de andere op de verborgen parameters die we proberen te leren. Amari toonde aan dat onder zeer strikte voorwaarden deze twee visies in essentie uitwisselbaar waren, als twee zijden van dezelfde munt. Maar deze oorspronkelijke theorie had een groot gebrek: het werkte alleen wanneer de wiskunde die de gegevens beschrijft en de wiskunde die de verborgen regels beschrijft identiek van vorm waren. In de rommelige realiteit van modern machine learning, waar gegevens complex zijn en modellen ingewikkeld, wordt aan deze voorwaarde bijna nooit voldaan, waardoor de oorspronkelijke theorie grotendeels onbruikbaar is voor de meeste scenario's in de echte wereld.

De nieuwe studie, geleid door Mohammad Emtiyaz Khan en Thomas Möllenhoff, lost dit probleem op door Amari's oude idee te verbinden met een andere tak van de wiskunde genaamd convexe dualiteit. In plaats van te vertrouwen op de strikte vereiste dat de gegevens en de regels er hetzelfde uit moeten zien, gebruikten de onderzoekers een flexibeler wiskundig kader gebaseerd op optimalisatie. Ze demonstreerden dat je nog steeds een diepe, structurele connectie kunt vinden tussen de gegevens en het model, zelfs wanneer ze volledig verschillend zijn in vorm. Door het probleem te behandelen als een optimalisatietaak, lieten ze zien dat je het proces kunt terugdraaien. Als je begint met een bekend model en de gegevens die het heeft geproduceerd, kun je wiskundig terugvinden naar de specifieke functie die de gegevens beschrijft, waardoor je effectief een brug slaat tussen de twee zijden die voor veel meer gevallen werkt dan voorheen mogelijk was.

Om dit te illustreren, keken de onderzoekers naar een veelvoorkomend probleem in de statistiek genaamd ridge regressie, dat wordt gebruikt om patronen in gegevens te vinden terwijl wordt voorkomen dat het model te ingewikkeld wordt. In dit scenario komen de wiskunde die de gegevens beschrijft en de wiskunde die de verborgen regels beschrijft niet overeen, wat de oorspronkelijke theorie van Amari de kop zou hebben ingedrukt. Echter, door hun nieuwe methode toe te passen, slaagden de auteurs erin de connectie te vinden. Ze toonden aan dat er zelfs in dit ongepaste geval een precieze wiskundige manier is om het model terug te mappen naar de gegevens. Dit is niet slechts een theoretische curiositeit; het bewijst dat de symmetrie die Amari ontdekte geen fragiel artefact van eenvoudige wiskunde is, maar een robuust kenmerk dat kan worden gegeneraliseerd naar complexe, real-world systemen.

De implicaties van dit werk reiken veel verder dan abstracte wiskunde. De onderzoekers suggereren dat deze gegeneraliseerde dualiteit een vitale tool kan worden voor het begrijpen van de innerlijke werking van moderne kunstmatige intelligentie, in het bijzonder grote taalmodellen. Deze modellen worden getraind op enorme hoeveelheden gegevens, maar het is vaak moeilijk te begrijpen welke kennis ze precies hebben geïnternaliseerd of hoe ze tot een specifieke conclusie zijn gekomen. Het nieuwe kader biedt een manier om naar het getrainde model te kijken en terug te "traken" naar een compacte samenvatting van de gegevens die het gedrag het beste verklaart. Het is vergelijkbaar met het vermogen om naar een voltooid gebouw te kijken en de exacte blauwdruk en materialen af te leiden die zijn gebruikt voor de constructie, zelfs als het constructieproces complex en niet-standaard was. Dit kan ontwikkelaars helpen hun systemen te debuggen, hun beperkingen te begrijpen en te waarborgen dat ze zich gedragen zoals bedoeld.

Het artikel verbindt deze ideeën ook met een bredere geschiedenis van machine learning, door ze te koppelen aan andere methoden die vergelijkbare wiskundige trucs gebruiken om complexe problemen te vereenvoudigen. De auteurs laten zien dat hun benadering veel bestaande technieken als speciale gevallen herstelt, wat suggereert dat Bayesiaanse dualiteit een verenigend principe is dat verschillende stromen van onderzoek samenbindt. Terwijl het oorspronkelijke werk van Amari werd gemotiveerd door een verlangen om te begrijpen hoe het menselijk brein informatie verwerkt, met zijn lagere zintuiglijke systemen en hogere conceptuele systemen die met elkaar interageren, brengt deze nieuwe generalisatie dat visioen dichter bij de realiteit voor kunstmatige systemen. Het biedt een rigoureuze wiskundige taal om de dynamische interactie tussen een model en de gegevens waarvan het leert te beschrijven.

Uiteindelijk beweert dit onderzoek niet elk probleem in kunstmatige intelligentie te hebben opgelost, noch suggereert het dat de nieuwe methode een wondermiddel is voor alle leeropdrachten. In plaats daarvan biedt het een algemenere en flexibelere manier om over de relatie tussen gegevens en modellen na te denken. Door de restrictieve voorwaarden uit het verleden weg te nemen, hebben de auteurs de deur geopend voor nieuwe algoritmen en inzichten die voorheen buiten bereik lagen. Het werk staat als een testament voor de kracht van het herzien van oude ideeën met frisse wiskundige instrumenten, waarbij wordt aangetoond dat zelfs concepten van decennia geleden kunnen worden gerevitaliseerd om de uitdagingen van de toekomst aan te pakken. Voor de nieuwsgierige observator onthult het dat het pad tussen wat we zien en wat we weten geen rechte lijn is, maar een rijk, gestructureerd landschap dat nu met grotere precisie in kaart kan worden gebracht dan ooit tevoren.