Contextual Token Rotation Ensembles for Tabular Learning
Dit artikel introduceert Contextual Token Rotation Ensembles (CTRE), een nieuw framework voor tabelvormig leren dat de diversiteit en robuustheid van ensembles verbetert door Transformer-gebaseerde contextuele tokenrepresentaties te integreren met data-adaptieve, interactiebewuste feature-rotaties, waarmee het klassieke methoden overtreft, met name op hoogdimensionale en ongebalanceerde datasets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van data science worden sommige problemen opgelost door naar plaatjes te kijken of naar geluiden te luisteren, maar veel van de meest kritieke beslissingen in de financiële sector, de geneeskunde en de techniek vertrouwen op tabellen met getallen. Deze tabellen, bekend als tabulaire data, zijn een mix van verschillende soorten informatie: sommige kolommen bevatten continue metingen zoals temperatuur of inkomen, terwijl andere categorieën bevatten zoals kleur of functietitel. De uitdaging voor computers is dat deze verschillende soorten data niet van nature goed samengaan. Een computer heeft moeite om te begrijpen hoe een specifieke numerieke waarde zich verhoudt tot een specifieke categorie, tenzij de computer wordt geleerd de verborgen verbanden tussen hen te zien. Decennialang hebben onderzoekers geprobeerd betere manieren te bouwen om deze tabellen te lezen, vaak door veel eenvoudige voorspellingsmodellen te combineren tot één slimmer team. Deze aanpak, genaamd ensemble learning, werkt door ervoor te zorgen dat elk lid van het team de data op een iets andere manier bekijkt, zodat hun individuele fouten elkaar opheffen. Echter, een langdurige methode voor het creëren van deze diversiteit vertrouwde op een enigszihin willekeurige strategie: het willekeurig opdelen van de kolommen van de data in groepen en het door elkaar husselen ervan. Hoewel dit variatie creëert, negeert het vaak het feit dat sommige kolommen van nature aan elkaar gelinkt zijn, terwijl andere totaal ongerelateerd zijn.
Een team van onderzoekers aan de University of New South Wales heeft een nieuwe methode ontwikkeld genaamd Contextual Token Rotation Ensembles, of CTRE, die dit willekeurige husselen vervangt door een intelligenter, contextbewust proces. In plaats van elke kolom met data te behandelen als een geïsoleerd feit, leert hun systeem eerst hoe de kolommen met elkaar communiceren. Stel je een kamer vol mensen voor waar iedereen tegelijkertijd spreekt; een traditionele methode zou gewoon een willekeurige groep mensen kunnen kiezen om naar te luisteren, in de hoop een nuttig gesprek op te vangen. De nieuwe methode luistert echter eerst naar de hele kamer om te begrijpen wie er daadwerkelijk met wie praat, en vormt vervolgens groepen op basis van die echte gesprekken. De onderzoekers bereikten dit door gebruik te maken van een type kunstmatige intelligentie bekend als een Transformer, die beroemd is om het begrijpen van taal. Ze pasten deze technologie aan om de kolommen van een datatabel te bekijken alsof het woorden in een zin waren. Door het systeem te trainen om ontbrekende stukjes data te voorspellen op basis van de omliggende kolommen, leert de computer een kaart van welke kenmerken van elkaar afhankelijk zijn.
Zodra deze kaart van relaties is geleerd, gebruikt het systeem deze om zijn team van voorspellingsmodellen op te bouwen. In de oude willekeurige methode zouden twee kolommen die diep met elkaar verbonden zijn, in verschillende groepen kunnen worden gescheiden, terwijl twee ongerelateerde kolommen bij elkaar zouden kunnen worden gevoegd. In de nieuwe CTRE-aanpak gebruikt het systeem de geleerde kaart om het groeiproces te begeleiden. Het maakt het waarschijnlijker dat kolommen met sterke verbindingen in dezelfde groep worden geplaatst, maar het behoudt nog steeds een element van willekeur om ervoor te zorgen dat het team divers blijft. Binnen deze intelligentere groepen voert het systeem een wiskundige transformatie uit die de belangrijkste patronen accentueert terwijl het de ruis wegfiltert. Cruciaal is dat de onderzoekers een stap hebben toegevoegd om ervoor te zorgen dat de informatie die in de ene groep wordt geleerd, niet per ongeluk in een andere groep lekt. Ze verwerken de data voor elke groep afzonderlijk, zodat de uiteindelijke voorspelling voor één groep alleen afhangt van de specifieke variabelen die eraan zijn toegewezen, waardoor het unieke perspectief van elk teamlid behouden blijft.
De resultaten van deze nieuwe aanpak werden getest op een breed scala aan realtime datasets, variërend van medische dossiers tot huizenprijzen en industriële sensormetingen. Op complexe, hoogdimensionele problemen waarbij er honderden verschillende kenmerken en veel verschillende soorten data gemengd zijn, presteerde de nieuwe methode beter dan de beste bestaande technieken. Bijvoorbeeld, op een dataset met CT-scanvlakken met 384 verschillende kenmerken, verminderde de nieuwe methode de voorspellingsfout aanzienlijk meer dan eerdere topperformers. Het toonde ook een opmerkelijke kracht in het omgaan met ernstig ongebalanceerde data, zoals een dataset waarbij slechts een fractie van de inzendingen een zeldzame fout of een specifieke ziekte vertegenwoordigt. In deze moeilijke gevallen negeerden oudere modellen de zeldzame gebeurtenissen vaak volledig, maar de nieuwe methode identificeerde succesvol de subtiele patronen die daarmee geassocieerd zijn. De onderzoekers merkten echter op dat deze geavanceerde methode geen universele wondermiddel is. Op eenvoudigere datasets met minder kenmerken of zeer uniforme data, introduceerde de extra complexiteit van het leren van de relaties tussen kolommen soms meer ruis dan waarde, en presteerden eenvoudigere modellen even goed of zelfs beter.
De studie suggereert dat de toekomst van tabular learning ligt in methoden die de onderliggende structuur van de data respecteren in plaats van de data te behandelen als een willekeurige verzameling getallen. Door de computer te leren hoe kenmerken interageren voordat hij een voorspelling probeert te doen, hebben de onderzoekers een hulpmiddel gecreëerd dat bijzonder krachtig is voor de rommelige, complexe en heterogene data die in de echte wereld wordt gevonden. Het werk beweert niet dat het elk dataprobleem heeft opgelost, maar het demonstreert dat wanneer data rijk en complex is, een methode die luistert naar de verbindingen tussen variabelen een veel nauwkeuriger en betrouwbaarder team van voorspellers kan bouwen. Deze verschuiving van willekeurige groepering naar geleide, contextbewuste groepering vertegenwoordigt een betekenende stap voorwaarts in de manier waarop machines leren van de gestructureerde tabellen die onze moderne besluitvorming aansturen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.