Generate in the Chart, Not on the Boundary: Function-Symbol Grounding for Hard Constraints in LTN-GANs

In de wereld van kunstmatige intelligentie zijn machines bijzonder goed geworden in het nabootsen van de patronen van de echte wereld. Ze kunnen realistische foto's van gezichten genereren, geloofwaardig klinkende nieuwsartikelen verzinnen of synthetische gegevens van vluchtschema's en chemische reacties creëren. Deze tools zijn onmisbaar voor wetenschappers en ingenieurs die meer data nodig hebben om theorieën te testen of andere systemen te trainen, vooral wanneer echte data schaars of te gevoelig is om te delen. Er is echter een addertje onder het gras. Alleen omdat een machine iets creëert dat statistisch gezien lijkt op het echte ding, betekent dit niet dat het de fundamentele regels volgt die de werkelijkheid beheersen. Een synthetisch vluchtverslag kan laten zien dat een vliegtuig landt voordat het is opgestegen, of een chemisch molecuul kan worden gegenereerd met een onmogelijke energiebalans. Deze fouten schenden de harde wetten van de natuurkunde en logica waar de echte data aan voldoet. De uitdaging voor onderzoekers is om generatoren te bouren die niet alleen realistisch ogen, maar ook strikt voldoen aan deze onbreekbare regels, waardoor ze data produceren die zowel geloofwaardig als logisch sluitend is.

Jarenlang was de standaardaanpak om deze logische fouten op te lossen het behandelen van deze als zachte suggesties. Bij deze methode krijgt de computer een straf wanneer hij een regel overtreedt, wat hem aanmoedigt om het de volgende keer beter te doen. Hoewel dit helpt, garandeert het nooit perfectie; de machine kan nog steeds af en toe een fout maken, waarbij een regelovertreding wordt ingeruild voor een iets beter uitziende afbeelding. Een recentere en striktere methode betreft een "constraint layer" (beperkingslaag), een mechanische poort die aan het einde van het generatieproces staat. Als de machine een monster produceert dat een regel breekt, dwingt deze poort de getallen fysiek om net genoeg te veranderen om het monster geldig te maken. Het werkt als een vangnet, waardoor wordt gegarandeerd dat elk enkel monster technisch correct is. Maar onderzoekers Nijesh Upreti en Vaishak Belle van de Universiteit van Edinburgh ontdekten een verborgen gebrek in dit vangnet. Ze ontdekten dat hoewel de poort garandeert dat het monster geldig is, het vaak de subtiele, natuurlijke variaties vernietigt die de data realistisch maken.

Het probleem ligt in de manier waarop deze regels worden toegepast. Veel wetenschappelijke regels zijn ongelijkheden, zoals "de temperatuur moet groter zijn dan nul" of "de tijd van aankomst moet na de tijd van vertrek liggen". In de echte wereld zijn deze marges niet simpelweg nul of één; ze hebben een natuurlijke spreiding. Een vlucht kan een paar minuten vertraging hebben, of een chemische reactie kan een kleine energiebuffer hebben. Wanneer de standaard veiligheidspoort een overtreding herstelt, duwt het het monster precies tegen de rand van de toegestane zone, waardoor de marge exact nul wordt. Dit gebeurt voor elk enkel monster dat zelfs maar een klein beetje fout was. Het resultaat is een dataset waarin elke invoer geldig is, maar de natuurlijke distributie van die marges is verdwenen. De data ziet er perfect uit op een checklist, maar voelt vlak en kunstmatig aan omdat de subtiele variaties die de echte wereld definiëren, zijn platgeslagen tot één enkel punt. Upreti en Belle noemen dit de "collapse" (instorting) van de margeverdeling, en ze toonden aan dat dit zo stilletjes gebeurt dat standaardtests het vaak missen, waardoor onderzoekers achterblijven met data die er goed uitziet, maar fundamenteel vervormd is.

Om dit op te lossen, ontwikkelden de onderzoekers een nieuwe manier van denken over hoe de machine zijn monsters opbouwt. In plaats van een volledig monster te genereren en vervolgens te controleren of het de regels breekt, veranderden ze het blauwdruk zelf. Ze introduceerden een methode genaamd "function-symbol grounding", die fungeert als een coördinatensysteem binnen de toegestane zone. Stel je voor dat de machine niet langer probeert een doel te raken om vervolgens de koers te corrigeren; in plaats daarvan tekent de machine een kaart van het gehele veilige gebied en kiest een plek direct vanuit dat gebied. De machine genereert een vrij, onbeperkt getal, en vervolgens vertaalt een specifieke wiskundige functie dat getal naar een waarde die gegarandeerd geldig is. Deze vertaling vindt plaats door een kleine, positieve hoeveelheid toe te voegen aan een basiswaarde, waardoor de regel door constructie wordt voldaan. Omdat de machine het monster van binnenuit opbouwt, hoeft het nooit te worden gecorrigeerd of afgeklemd. De natuurlijke variaties, de "marges" tussen de waarden, blijven intact en worden net als elk ander kenmerk van de data geleerd.

Het team testte deze aanpak op vier complexe, hoogresolutie datasets met betrekking tot chemie, moleculaire eigenschappen en taxi-ritgegevens. In elk geval produceerde de oude methode van afklemmen (clamping) data die 100 procent geldig was, maar een verstoorde distributie van de marges tussen de waarden had. De nieuwe methode produceerde echter ook data die 100 procent geldig was, maar de natuurlijke spreiding van die marges perfect behield. Het verschil was groot: de nieuwe methode verminderde de fout in de distributie van deze marges met wel tot vijfentwintig keer vergeleken met de oude methode. De onderzoekers ontdekten ook dat ze de oude methode konden voorspellen wanneer deze zou falen, nog voordat de training begon. Ze berekenden een eenvoudige ratio gebaseerd op de grootte van de data versus de grootte van de marge van de regel. Wanneer deze ratio groot was, wat betekende dat de marge klein was in verhouding tot de data, liet de oude methode de distributie altijd instorten. De nieuwe methode werkte ongeacht deze ratio en fungeerde effectief als een universele oplossing voor dit type beperkingen.

De studie behandelde ook een praktische zorg: wat betre af regels die betrokken zijn bij gehele getallen of discrete categorieën, waarbij de "marge" geen vloeiende curve is maar een enkel punt? De onderzoekers ontdekten dat hun nieuwe methode het beste werkt voor vloeiende, continue regels, terwijl de oude afklemmethode juist beter is voor deze discrete gevallen. Om het beste van beide werelden te krijgen, creëerden ze een hybride systeem. Voordat de training begint, analyseert het systeem elke regel om te zien of deze vloeiend of discreet is, en kiest vervolgens automatisch het beste instrument voor de taak. Het gebruikt de nieuwe "inside-out" methode voor vloeiende regels en de oude afklemmethode voor discrete regels. Wanneer getest tegen de beste bestaande benchmarks, presteerde dit hybride systeem gelijk aan of beter dan de standaard afklemmethode op alle datasets, terwijl het de oude methode aanzienlijk overtrof op de moeilijke, hoogresolutiegevallen waar de oude methode faalde.

Dit werk verandert de manier waarop we denken over het genereren van beperkte data. Het laat zien dat het niet genoeg is om data enkel geldig te maken; de data moet ook realistisch zijn in haar variaties. Door over te stappen van een systeem dat fouten corrigeert nadat ze zijn opgetreden naar een systeem dat geldigheid inbouwt in de structuur van de data zelf, hebben de onderzoekers een manier gecreëerd om synthetische data te genereren die niet alleen veilig is, maar ook getrouw aan de complexe, genuanceerde werkelijkheid die het beoogt te representeren. De bevindingen suggereren dat voor elke toepassing waarbij de subtiele verschillen tussen waarden van belang zijn — van het ontwerpen van nieuwe moleculen tot het plannen van logistiek — de manier waarop we onze regels in de architectuur van de machine verankeren, even belangrijk is als de regels zelf.