The Good, the Bad, and the Ugly of Markov Boundary for Tabular Prediction
Hoewel theoretisch optimaal voor voorspelling, wordt het gebruik van de Markov-grens bij tabelvormig leren in de praktijk belemmerd door het onvermogen van huidige causale ontdekkingsmethoden om deze nauwkeurig te herstellen binnen rekenbudgetten, wat een kritische kloof onthult tussen structurele herstel en voorspellende prestaties die nieuwe strategieën voor kenmerkselectie vereist die afgestemd zijn op voorspellingsdoelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van data science worden computers voortdurend gevraagd om voorspellingen te doen op basis van tabellen met informatie. Stel je een spreadsheet voor waarbij één kolom het antwoord bevat dat we willen weten, zoals de prijs van een huis of de waarschijnlijkheid van een ziekte, en honderden andere kolommen potentiële aanwijzingen bevatten, zoals het woonoppervlakte, de leeftijd of de bloeddruk. Het doel is om de perfecte combinatie van aanwijzingen te vinden die leidt tot het meest nauwkeurige antwoord. Decennialang heeft een krachtig idee uit de kansrekeningtheorie een nette oplossing geboden voor dit probleem. Het suggereert dat er voor elke specifieke vraag een kleine, perfecte groep aanwijzingen bestaat die alles bevat dat nodig is om de voorspelling te doen, terwijl het elke andere aanwijzing in de tabel volledig nutteloos maakt. Deze perfecte groep wordt een Markov-grens genoemd. De theorie is elegant: als je deze kleine groep zou kunnen vinden, zou je de rest van de gegevens kunnen weggooien, een eenvoudiger model kunnen trainen en hetzelfde resultaat kunnen behalen als wanneer je alle gegevens had gebruikt. Het belooft een wereld waarin minder data leidt tot betere antwoorden.
Echter, een team onderzoekers aan de Arizona State University besloot te testen of deze elegante theorie daadwerkelijk werkt wanneer deze wordt toegepast op moderne computerprogramma's die voorspellingen doen. Ze bouwden een enorme testomgeving genaamd SCM3K, een collectie van 3.450 verschillende synthetische problemen die ontworpen zijn om de echte wereld van data na te bootsen. Deze problemen varieerden enorm in omvang, waarbij sommige slechts 40 aanwijzingen hadden en andere opliepen tot 1.000. Ze testten zes verschillende soorten voorspellingsmotoren, variërend van eenvoudige statistische instrumenten tot geavanceerde kunstmatige intelligentiemodellen. De onderzoekers stelden eerst een rechtstreekse vraag: als ze een voorspellingsmotor alleen de perfecte, theoretische groep aanwijzingen zouden geven, zou deze dan beter presteren dan wanneer deze gedwongen zou worden om naar elke afzonderlijke aanwijzing in de tabel te kijken? Het antwoord was een overtuigend ja. Wanneer de data groot was en vol zat met redundante informatie, verbeterde het beperken van de computer tot alleen de essentiële aanwijzingen de nauwkeurigheid aanzienlijk. Hoe meer nutteloze data werd verwijderd, hoe scherper de voorspelling werd. Het leek erop dat de theorie altijd al juist was.
Maar toen probeerden de onderzoekers de volgende logische stap: ze vroegen de computer om die perfecte groep aanwijzingen zelf te vinden voordat er een voorspelling werd gedaan. Ze gebruikten bestaande hulpmiddelen die ontworien zijn om deze grenzen te ontdekken en voedden de resultaten vervolgens aan de voorspellingsmotoren. Dit is waar het verhaal een scherpe wending nam. De hulpmiddelen die ontworpen zijn om de perfecte groep aanwijzingen te vinden, slaagden er niet in om de beloofde voordelen te leveren. In veel gevallen maakte het gebruik van de beste gok van de computer wat betreft de perfecte groep de voorspellingen zelfs slechter dan wanneer men simpelweg de volledige tabel met gegevens zou gebruiken. De onderzoekers ontdekten dat de hulpmiddelen die bedoeld zijn om deze grenzen te vinden, niet gebouwd zijn voor de taak van voorspelling. Ze zijn gebouwd om de exacte wiskundige structuur van de data te vinden, een taak die ongelooflijk moeilijk en traag is wanneer de data groot wordt. Tegen de tijd dat deze hulpmiddelen hun werk hadden voltooid, hadden ze vaak al te weinig rekenkracht of tijd over, vooral in de grote, complexe scenario's waarin de perfecte groep het meest nuttig zou zijn geweest.
De mislukking ging niet alleen over snelheid; het ging over een fundamentele mismatch in doelen. De hulpmiddelen die deze grenzen vinden, behandelen twee soorten fouten als even slecht: het missen van een aanwijzing die eigenlijk belangrijk is, en het opnemen van een aanwijing die dat niet is. In de wereld van voorspelling zijn deze fouten niet gelijk. Het missen van een belangrijke aanwijzing is een ramp die het antwoord ruïneert, terwijl het opnemen van een extra, nutteloze aanwijzing een klein ongemak is dat de voorspellingsmotor vaak kan negeren. De onderzoekers ontdekten dat de hulpmiddelen te voorzichtig waren, en vaak vitale aanwijzingen achterlieten om het toevoegen van nutteloze aanwijzingen te vermijden, en die voorzichtigheid schaadde de uiteindelijke voorspelling. Bovendien ontdekten ze dat de "perfecte" groep aanwijzingen niet de enige manier is om een goed antwoord te krijgen. Een iets grotere groep aanwijzingen die enkele extra, onschadelijke stukjes informatie bevat, werkt vaak beter dan een fragiele, exacte groep die misschien een cruciaal onderdeel heeft gemist.
De studie concludeert dat hoewel het idee van een perfecte, minimale groep aanwijzingen wiskundig sluitend is, het najagen van die exacte groep de verkeerde strategie is voor het doen van voorspellingen. De onderzoekers suggereren dat de toekomst van data science in een andere aanpak ligt. In plaats van te proberen de enkele, exacte set aanwijzingen te vinden, moeten we zoeken naar groepen die robuust en veilig zijn, zelfs als ze iets groter zijn dan nodig. We hebben methoden nodig die begrijpen dat het missen van een vitale aanwijzing veel erger is dan het opnemen van een nutteloze aanwijzing. Het doel moet niet zijn om de verborgen structuur van de data perfect te reconstrueren, maar om een set aanwijzingen te vinden die het beste werkt voor de specifieke voorspellingsmotor die wordt gebruikt. De perfecte theoretische grens bestaat, maar voor de praktische taak van voorspelling is een iets imperfecte, meer vergevingsgezinde set aanwijzingen vaak de echte winnaar.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.