Advancing Open and Reproducible Relational Learning: RelArena-, TabPFN-Rel and RPI
Dit artikel introduceert de eerste release van Prior Labs in relationeel leren, bestaande uit RelArena- (een verenigd benchmarkingframework voor RelBench v1), TabPFN-Rel (een hoogpresterende, speciaal ontwikkelde harness voor TabPFN-3 die gespecialiseerde architecturen uitdaagt), en RPI (een model-agnostische interface voor eenvoudige probleemdefinitie), die allemaal gericht zijn op het bevorderen van open, reproduceerbaar en impactvol onderzoek in het vakgebied.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de digitale wereld wordt veel van onze informatie niet opgeslagen in eenvoudige spreadsheets, maar in complexe, onderling verbonden webben van data. Denk aan een bibliotheek waar boeken zijn gekoppeld aan auteurs, auteurs aan uitgevers, en uitgevers aan steden, waarbij elke verbinding een stukje van het verhaal bevat. In de informatica wordt deze structuur een relationele database genoemd. Jarenlang hebben onderzoekers geprobeerd machines te leren van deze webben, in de hoop alles te kunnen voorspellen, van welke film een gebruiker zal genieten tot of een patiënt zal herstellen. De weg naar deze voorspellingen is echter gehinderd door verwarring. Verschillende onderzoeksgroepen gebruikten verschillende regels om hun ideeën te testen, waarbij ze vaak de specifieke instellingen die ze aanpasten om de beste resultaten te krijgen, verborgen hielden. Dit heeft het bijna onmogelijk gemaakt om te bepalen of een nieuwe methode echt beter is of gewoon geluk had, wat de vooruitgang vertraagde en deze krachtige instrumenten buiten het bereik hield van de mensen die ze het hardst nodig hebben.
Een team van onderzoekers van Prior Labs, werkend met samenwerkingspartners van Stanford University en NVIDIA, heeft een beslissende stap gezet om deze mist te klaren. Ze hebben een nieuwe set open tools uitgebracht die ontworpen zijn om orde, eerlijkheid en duidelijkheid te brengen in het veld van relational learning. Hun werk draait om drie hoofdonderdelen: een gestandaardiseerde testomgeving, een krachtig nieuw voorspellingsinstrument en een eenvoudige interface waarmee iedereen deze methoden op de eigen data kan toepassen. Door een gelijk speelveld te creëren waar elke methode onder dezelfde strikte voorwaarden wordt getest, heeft het team een verrassende waarheid ontdekt over hoe machines leren van verbonden data.
De eerste en misschien wel meest cruciale bijdrage is een nieuw framework genaamd RelArena. Te lang was het vergelijken van verschillende machine learning-methoden alsovergelijkbaar met het vergelijken van racewagens op circuits met verschillende lengtes en oppervlaktecondities. Sommige onderzoekers testten hun modellen op data die informatie uit de toekomst bevatte, terwijl anderen dat niet deden; sommigen besteedden dagen aan het finetunen van hun instellingen, terwijl anderen een snelle, grove gok gebruikten. Het nieuwe RelArena-framework lost dit op door een enkele, verenigde racebaan te bieden. Het zorgt ervoor dat elke methode exact dezelfde data krijgt, dezelfde informatie ziet en dezelfde hoeveelheid tijd en inspanning krijgt om zijn instellingen af te stemmen. Dit maakt een eerlijke, directe vergelijking mogelijk waarbij het enige verschil de methode zelf is. De onderzoekers hebben de trainingsscripts van veel bestaande methoden opnieuw opgebouwd om ervoor te zorgen dat ze herhaald en herhaald kon worden met dezelfde resultaten, wat een groot probleem oploste waarbij eerdere studies niet reproduceerbaar waren.
Binnen deze nieuwe testomgeving introduceerden de onderzoekers een tool genaamd TabPFN-Rel. Deze tool hanteert een andere aanpak dan de vele complexe, gespecialiseerde systemen die het veld hebben gedomineerd. In plaats van een unieke architectuur te bouwen om door het web van verbindingen te navigeren, vlakt TabPFN-Rel de gehele database af tot één enkele, brede tabel. Het verzamelt informatie uit alle gerelateerde tabellen en combineert dit tot één massieve lijst met kenmerken, vergelijkbaar met het samenstellen van één enkel, uitgebreid dossier over een persoon door details te verzamelen van hun vrienden, familie en werkgeschiedenis. Dit dossier wordt vervolgens gevoed aan een krachtig foundation model, een type kunstmatige intelligentie dat getraind is op enorme hoeveelheden algemene data, om een voorspelling te doen.
De resultaten van deze nieuwe aanpak waren opmerkelijk. In de eerlijke vergelijkingen die door RelArena werden geboden, presteerde de methode die simpelweg de database afvlakte en een algemeen model gebruikte even goed als, en vaak zelfs beter dan, de meest geavanceerde, op maat gemaakte systemen die specifiek voor relationele data zijn ontworpen. Deze bevinding daagt een langgevestigd geloof in de gemeenschap uit dat complexe, gespecialiseerde structuren altijd noodzakelijk zijn om verbonden data te begrijpen. De onderzoekers ontdekten dat de eenvoudigere aanpak niet alleen een back-up plan was, maar een topconcurrent. Sterker nog, één versie van deze tool, die ook tekstuele beschrijvingen binnen de data kon lezen, behaalde de hoogste scores op de leaderboard.
Het team ontdekte echter ook dat het gat tussen de beste en de rest niet altijd gaat over de architectuur van het model, maar over hoe zorgvuldig het systeem is afgestemd. Wanneer zij methoden vergeleken die een gestandaardiseerd, eerlijk afstemingsproces kregen met methoden die dat niet kregen, verschoof de uitkomst. Sommige methoden die indrukwekkend leken in eerdere studies, verloren hun voorsprong toen ze onder de nieuwe, strikte regels werden getest. Dit suggereert dat veel van de eerder gerapporteerde successen mogelijk te danken waren aan uitgebreide, niet-openbaar gemaakte afstemming in plaats van aan een fundamentele doorbraak in de methode zelf. De onderzoekers merkten ook op dat hoewel deze tools krachtig zijn, ze nog steeds duur zijn om uit te voeren. Het verwerken van de data om die platte tabellen te creëren vereist aanzienlijke rekenkracht, en voor sommige methoden is de tijd die nodig is om de data voor te bereiden vijf tot dertig keer langer dan de tijd die nodig is om de voorspelling daadwerkelijk te doen.
Om de kloof tussen deze complexe onderzoeks-tools en praktijkgebruik te overbruggen, bracht het team een derde component uit: een eenvoudige interface genaamd RPI. Momenteel vereist het toepassen van deze geavanceerde methoden het schrijven van complexe computercode en het navigeren door moeilijke technische opstellingen. De nieuwe interface stelt een gebruiker in staat om een voorspellingsprobleem te beschrijven met behulp van een eenvoudig configuratiebestand, zonder code te schrijven. Dit bestand vertelt het systeem welke data beschikbaar is en welke vraag beantwoord moet worden. Het systeem handelt vervolgens het zware werk af van de voorbereiding van de data en het draaien van het model. Hoewel dit een vroege versie is, vertegenwoordigt het een belangrijke stap naar het toegankelijk maken van deze krachtige tools voor datawetenschappers en professionals in de industrie die geen diepe expertise hebben in machine learning-onderzoek.
De release van deze tools markeert een keerpunt voor het vakgebied. Door een standaard vast te stellen voor hoe methoden getest en vergeleken moeten worden, hebben de onderzoekers een fundament gelegd voor betrouwbare vooruitgang. Ze hebben aangetoond dat eenvoudigere, meer algemene benaderingen net zo effectief kunnen zijn als complexe, gespecialiseerde benaderingen, mits ze eerlijk worden getest. Ze hebben ook het belang van transparantie benadrukt, om ervoor te zorgen dat de resultaten die we zien echt en reproduceerbaar zijn. Naarmate de gemeenschap deze nieuwe standaarden adopteert, wordt de weg van academisch onderzoek naar praktische toepassing duidelijker, wat hoop biedt dat de belofte van leren van onze onderling verbonden data eindelijk voor iedereen gerealiseerd kan worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.