From Classification to Regression: Using a Fruitfly to Solve Equations

Stel je voor dat je een computer probeert te leren de toekomst te voorspellen. Meestal vragen we computers om een gigantisch, allesomvattend regelboek te leren—één enkele, massieve formule die uitlegt hoe de wereld van begin tot eind werkt. Het is alsof je probeert elke mogelijke zet in een schaakspel uit je hoofd te leren voordat je je eerste zet mag doen. Dit werkt wel, maar het vereist het brein van een supercomputer en het duurt eeuwen om uit te voeren. De natuur heeft echter een slimmere manier van werken. Denk aan een fruitvlieg die door je keuken zoemt. Die heeft geen enorme kaart van het hele huis in haar piepkleine kopje. In plaats daarvan neemt ze haar directe omgeving waar, herkent ze een vertrouwde "geur" of patroon (zoals de geur van rot fruit) en reageert ze op basis van wat ze over die specifieke plek heeft geleerd. Ze hoeft niet de fysica van het hele huis te kennen; ze moet alleen weten wat ze nu moet doen op basis van wat ze ziet.

Dit artikel, getiteld "From Classification to Regression: Using a Fruitfly to Solve Equations," onderzoekt een nieuwe manier om computers te leren complexe wiskundige problemen op te lossen door die strategie van de fruitvlieg te kopiëren. In de wereld van de wetenschap is "regressie" gewoon een chic woord voor het vinden van een relatie tussen inputs en outputs—zoals het voorspellen hoe heet een metalen staaf zal worden op basis van hoe lang je hem verhit. Meestal proberen wetenschappers één groot, ingewikkeld model te bouwen om dit te doen. Maar dit artikel suggereert dat we, in plaats van één gigantisch brein, een kleine bibliotheek van "patronen" moeten gebruiken. Denk aan een kies-je-eigen-avontuur-boek. In plaats van voor elke mogelijke situatie een nieuw verhaal te schrijven, heb je een paar sleutelscènes (patronen) en een set regels voor hoe je ze samenvoegt om het verhaal van het moment te vertellen. De auteurs laten zien dat door het probleem te behandelen als een spel van "waar lijkt dit het meest op?" (classificatie) en vervolgens de antwoorden te mengen, computers moeilijke vergelijkingen veel sneller en met minder geheugen kunnen oplossen, terwijl ze verrassend nauwkeurig blijven.

Het geheim van de fruitvlieg: Vergelijkingen oplossen door de lucht te ruiken

De auteurs, Shady E. Ahmed en Panos Stinis van het Pacific Northwest National Laboratory, stellen een slimme truc voor: stop met het proberen te leren van de hele kaart en begin met het leren van de oriëntatiepunten.

In traditionele machine learning, als je wilt dat een computer voorspelt hoe een systeem in de loop van de tijd verandert (zoals het weer of de beweging van planeten), train je meestal een enorm neuraal netwerk om als een "globale surrogaat" te fungen. Dit is een enkel, complex model dat probeert de gehele inputruimte in één keer te begrijpen. Het probleem is dat deze modellen enorm, duur en traag worden. Ze zijn als het proberen te dragen van de hele bibliotheek van het Congres in je rugzak, alleen maar om één boek te vinden.

De auteurs betogen dat de meeste wetenschappelijke data de hele ruimte niet echt vullen. Een planeet vliegt niet willekeurig door het universum; hij volgt een specifieke baan. Een fruitvlieg vliegt niet in een rechte lijn door een muur; zij volgt de geur van voedsel. Deze systemen herhalen dezelfde "regimes" of gedragingen keer op keer. Het artikel suggereert dat we, in plaats van een globale regel te leren, een eindige bibliotheek van representatieve lokale patronen moeten opbouwen.

Zo werkt de "Fruitfly Regressor", gebruikmakend van de analogie van een geur:

1. De bibliotheek van geuren (patronen): Stel je voor dat je een bibliotheek hebt van "geuren" (patronen). Elke geur vertegenwoordigt een specifiek, terugkerend gedrag van het systeem. Voor een zwaaiende pendel kan één patroon "snel naar links zwaaien" zijn, en een ander "langzaam stoppen aan de bovenkant".
2. De geurtest (gelijkenis): Wanneer je een nieuwe situatie hebt (een "query"), probeert de computer niet de hele vergelijking vanaf nul op te lossen. In plaats daarvan "ruikt" de computer aan de situatie. Hij vergelijkt de huidige staat met alle geuren in zijn bibliotheek.
3. Het gewogen mengsel (reconstructie): De computer kiest niet zomaar de beste geur. Hij berekent hoeveel de huidige situatie ruikt naar elke geur. Als het voor 60% naar "snel links" ruikt en voor 40% naar "langzaam top", dan mengt hij de bekende antwoorden voor die twee patronen samen (60% van antwoord A + 40% van antwoord B) om de uiteindelijke voorspelling te krijgen.

Deze aanpak verandert een moeilijk regressieprobleem (het voorspellen van een continu getal) in een classificatieprobleem (vaststellen welke patronen aanwezig zijn) en vervolgens in een eenvoudige wiskundige som (het mengen van de antwoorden).

Wat het artikel daadwerkelijk heeft gevonden

De auteurs testten dit idee op twee zeer verschillende soorten problemen: Dynamische Systemen (dingen die veranderen in de loop van de tijd, zoals planeten of vloeistoffen) en Algemene Regressie (het vinden van relaties in data).

1. De fruitvlieg in beweging (Dynamische Systemen)
Ze pasten hun methode toe op het Lotka-Volterra systeem (een model van hoe populaties van roofdieren en prooi met elkaar interageren) en het Lorenz-systeem (een beroemd model van chaotische weerpatronen).

• Het resultaat: Zelfs met een zeer kleine bibliotheek van patronen (slechts 4 tot 32 patronen) kon het model de toekomstige gedragingen van deze systemen met hoge nauwkeurigheid voorspellen.
• De verrassing: Ze ontdekten dat de "grenzen" tussen deze patronen zich natuurlijk vormden rond de stabiele punten van het systeem (zoals het centrum van een storm). Zelfs als een patroon niet de "winnaar" was in een specifiek gebied, droeg het nog steeds bij aan het uiteindelijke antwoord, wat de voorspelling vloeiend en stabiel maakte.
• De "onbekende" vergelijkingen: In één experiment kenden ze de vergelijkingen die het systeem aansturen zelfs niet. Ze gebruikten een tijdelijk "helper"-model om de patronen te leren, maar zodra de patronen gevonden waren, gooiden ze de helper weg. Het uiteindelijke model hoefde alleen de patronen en hun reacties op te slaan. Dit is een enorme winst voor het geheugen, aangezien het uiteindelijke model minuscuul is vergeleken met de gigantische neurale netwerken die normaal gesproken nodig zijn.
• Voortdurend leren: Ze lieten zien dat als het systeem verandert (zoals wanneer het weer naar een nieuw patroon verschuift), je simpelweg een paar nieuwe "geur"-patronen aan de bibliotheek kunt toevoegen zonder de oude te vergeten. Dit voorkomt het probleem van "catastrofale vergetelheid", waarbij AI meestal oude lessen vergeet wanneer het nieuwe dingen leert.

2. De fruitvlieg in het lab (Algemene Regressie)
Ze testten dit ook op standaard wiskundige problemen, zoals het aanpassen van een curve aan een parabool of het oplossen van de 1D Poisson-vergelijking (een natuurkundige vergelijking die beschrijft hoe warmte of elektriciteit zich verspreidt).

• De opzet: Ze behandelden de inputvariabele (zoals een positie op een lijn) als een "geur" en de patronen als vaste punten met hun eigen "geurwolken".
• De resultaten:
  • Voor een eenvoudige parabool gebruikten ze 10 patronen en kregen ze een testfout van 0,1%.
  • Voor een complexe golf bestaande uit 10 verschillende sinusgolven gebruikten ze 30 patronen en kregen een fout van ongeveer 1%.
  • Voor een lastig natuurkundig probleem met een scherpe hoek (een parabool die aan de ene kant nul is en aan de andere kant gebogen) gebruikten ze 100 patronen en kregen een fout van ongeveer 10%. Het artikel merkt op dat deze hogere fout verwacht is omdat de functie een scherpe, niet-gladde rand heeft, en dat de "geurverspreiding" niet perfect was afgestemd op die specifieke vorm.
• Snelheid: Het artikel benadrukt dat het oplossen van de patronenwaarden slechts 0,01 seconde duurde op een standaard MacBook voor de eenvoudigere problemen, en zelfs het meest complexe probleem duurde slechts 3,5 seconden.

Wat dit betekent (en wat het niet betekent)

Het artikel suggereert dat we niet altijd een gigantisch, alwetend brein nodig hebben om complexe problemen op te lossen. Door het probleem op te splitsen in een bibliotheek van kleine, herkenbare "patronen" en deze te mengen op basis van gelijkenis, kunnen we modellen creëren die:

• Kleiner zijn: Ze vereisen veel minder parameters om op te slaan.
• Sneller zijn: De online voorspellingsstap is slechts een gelijkeniscontrole en een gewogen som, geen massale berekening.
• Flexibeler zijn: Ze kunnen gemakkelijk worden bijgewerkt naarmate er nieuwe data binnenkomt.

De auteurs zijn echter voorzichtig om niet te beweren dat dit een wondermiddel voor alles is. Ze merken expliciet op dat hun methode ervan uitgaat dat de data "terugkerende gedragingen" of lokale structuren heeft. Als een systeem volledig willekeurig is en nooit een patroon herhaalt, zou deze bibliotheek-aanpak moeite kunnen hebben. Ook, hoewel de resultaten veelbelovend zijn, zijn ze gebaseerd op simulaties en specifieke wiskundige voorbeelden; het artikel beweert niet dat ze de echte wereld van klimaatmodellering of biologische systemen al hebben opgelost, hoewel het wel een pad vooruit suggereert.

De auteurs wijzen ook op een paar zaken die ze nog niet volledig hebben uitgezocht. Ze weten bijvoorbeeld niet precies hoe ze de "variantie" (de spreiding van de geur) voor de patronen moeten kiezen. Ze ontdekten dat het instellen van de variantie op de grootte van het domein gedeeld door het aantal patronen het beste werkte, wat contra-intuïtief voelde (alsof je verwacht dat een willekeurige wandelaar in een rechte lijn loopt), maar het werkte in hun tests. Ze suggereren ook dat het aantal patronen adaptief gemaakt kan worden, waarbij het alleen groeit wanneer het systeem te complex wordt voor de huidige bibliotheek.

Uiteindelijk biedt dit artikel een speelse maar krachtige verschuiving in perspectief: in plaats van de hele oceaan te proberen te onthouden, leer gewoon de stromingen kennen. Door de strategie van de fruitvlieg te imiteren om door lokale geuren te navigeren, kunnen we misschien wel de moeilijkste vergelijkingen van de wereld oplossen met een veel lichtere aanpak.