GATTA: Graph Active Learning with Test-Time Augmentation
Het artikel introduceert GATTA, een graph active learning-framework dat test-time augmentatie gebruikt met consistency-gebaseerde filtering om betrouwbare onzekerheidsschattingen te genereren, waarbij wordt aangetoond dat deze aanpak eenvoudige acquisitiestrategieën significant verbetert om complexe ensemblemethoden te overtreffen met een lagere computationele overhead.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het digitale tijdperk wordt een groot deel van onze wereld niet in kaart gebracht als een platte lijst met items, maar als een uitgestrekt web van verbindingen. Denk aan een sociaal netwerk waar vrienden met elkaar verbonden zijn, of een wetenschappelijke database waar onderzoeksartikelen naar elkaar verwijzen. Om grip te krijgen op deze complexe webben, gebruiken computers een speciaal type kunstmatige intelligentie dat een graph neural network wordt genoemd. Deze systemen zijn bijzonder goed in het leren van de structuur van relaties, wat ons helpt bij het voorspellen van alles van welke moleculen een ziekte zouden kunnen genezen tot hoe informatie zich door een gemeenschap verspreidt. Echter, deze slimme systemen hebben meestal een enorme hoeveelheid gelabelde data nodig om effectief te leren. In de echte wereld is het labelen van data vaak traag, duur en vereist het menselijke experts. Als je probeert een zeldzame ziekte in een medisch dossier te identificeren of een specifiek type fraude in een financieel netwerk, kun je een computer niet simpelweg laten gokken; je hebt een mens nodig om het antwoord te verifiëren. Dit creëert een flessenhals waarbij de computer klaar is om te leren, maar de mens te druk is om de nodige voorbeelden te leveren.
Om dit op te lossen, gebruiken onderzoekers een techniek genaamd active learning. In plaats van een mens te vragen om duizenden willekeurige voorbeelden te labelen, gedraagt de computer zich als een nieuwsgierige student die alleen vraagt om de specifieke stukjes informatie waarover hij het meest onzeker is. Hij kiest de meest onzekere knooppunten (nodes) in het netwerk en vraagt een mens om deze te labelen, in de hoop dat deze enkele nieuwe voorbeelden hem het meeste zullen leren. De uitdaging is echter om te weten welke knooppunten werkelijk onzeker zijn. In een complex web van verbindingen kan de gok van een computer worden beïnvloed door zijn buren, waardoor het moeilijk is om te bepalen of de machine echt onzeker is of gewoon in de war is door de ruis in de data. Als de computer de verkeerde voorbeelden kiest om te labelen, is de menselijke inspanning verspild en leert het systeem langzamer.
Om dit op te lossen, hebben een team onderzoekers uit Boedapest en Leuven een nieuwe methode geïntroduceerd genaamd GATTA, wat staat voor Graph Active Learning with Test-Time Augmentation. Hun werk suggereert een verrassend eenvoudige manier om deze systemen veel slimmer te maken over wat ze niet weten. De kern van het idee leent van een techniek die lang wordt gebruikt in beeldherkenning, waarbij een computer naar een foto kijkt, en vervolgens naar licht gewijzigde versies van diezelfde foto kijkt — bijvoorbeeld met een aangepaste helderheid of een verschoven hoek — om te zien of het antwoord verandert. Als de computer bij elke kleine verandering een ander antwoord geeft, weet hij dat hij onzeker is. Als hij elke keer hetzelfde antwoord geeft, is hij zelfverzekerd. De onderzoekers pasten dit concept aan voor grafische data, maar met een cruciale draai. In tegen tegenstelling tot een foto, waarbij het draaien ervan de essentie van het object niet verandert, kan het veranderen van de verbindingen in een graaf de betekenis van de data fundamenteel veranderen. Als je een link tussen twee mensen in een sociaal netwerk verwijdert, kan de computer plotseling denken dat ze vreemden zijn.
Om dit aan te pakken, genereert het GATTA-framework vele licht verschillende versies van de graaf op het moment dat de computer probeert te beslissen wat hij moet vragen. Het kijkt vervolgens naar de antwoorden van al deze verschillende versies. Als de computer zelfverzekerd is over alle variaties heen, weet hij dat het knooppunt het niet waard is om waarover gevraagd moet worden. Als de antwoorden alle kanten op gaan, weet hij dat het knooppunt een goede kandidaat is voor menselijke labeling. Maar omdat sommige van deze veranderingen per ongeluk de betekenis van de data kunnen breken, hebben de onderzoekers een veiligheidsfilter toegevoegd. Dit filter controleert of de voorspelling van de computer consistent blijft over de verschillende versies heen. Als een versie van de graaf ervoor zorgt dat de computer voor een knooppunt een compleet andere categorie voorspelt, wordt die versie als onbetrouwbaar beschouwd en weggegooid. Het systeem middelt de resultaten vervolgens alleen van de consistente versies om een ware maatstaf van onzekerheid te krijgen.
De resultaten van deze aanpak werden getest over verschillende soorten netwerken, waaronder citatienetwerken waar artikelen naar elkaar verwijzen en productnetwerken waar artikelen samen worden gekocht. De onderzoekers ontdekten dat deze methode eenvoudige, snelle computertactieken in staat stelde om net zo goed, of zelfs beter, te presteren dan veel complexere en rekenintensievere methoden die specifiek voor deze taak waren ontworpen. In veel gevallen verbeterde de eenvoudige methode, gecombineerd met deze nieuwe augmentatietechniek, de nauwkeurigheid van het uiteindelijke model met enkele procentpunten, een significante winst in de wereld van machine learning. Misschien wel het belangrijkste: de methode werkte goed zonder dat de onderliggende architectuur van het computermodel veranderd of vanaf nul opnieuw getraind hoefde te worden. Het fungeerde als een plug-in upgrade die kon worden toegepast op bestaande systemen.
De studie onthulde ook dat de omvang van de groep gewijzigde grafen ertoe doet. De onderzoekers vonden dat het gebruik van ongeveer 500 verschillende variaties van de graaf de beste balans bood tussen snelheid en nauwkeurigheid. Verder gaan dan dit aantal leverde een afnemend rendement op, terwijl het gebruik van te weinig variaties niet genoeg informatie bood om de werkelijk onzekere knooppunten te ontdekken. Ze ontdekten ook dat de methode het beste werkte wanneer de veranderingen aan de graaf sterk genoeg waren om het begrip van de computer uit te dagen, maar niet zo sterk dat ze de betekenis van de data vernietigden. Door deze factoren zorgvuldig af te stemmen, lieten de onderzoekers zien dat beoefenaars een hoge prestatie kunnen behalen met aanzienlijk lagere computationele kosten.
Dit werk suggereert dat de weg naar betere kunstmatige intelligentie op grafische data niet altijd vereist om complexere algoritmen te bouwen. In plaats daarvan kan het gevonden worden door de bestaande systemen robuuster te maken voor onzekerheid. Door de computer te vragen om hetzelfde probleem vanuit veel licht verschillende hoeken te bekijken en de verwarrende hoeken eruit te filteren, leert het systeem zijn eigen twijfels te vertrouwen. Dit stelt menselijke experts in staat om hun tijd te richten op de meest waardevolle voorbeelden, waardoor het hele proces van het onderwijzen van machines efficiënter wordt. De bevindingen wijzen erop dat voor veel praktische toepassingen een eenvoudige, betrouwbare manier om onzekerheid te meten krachtiger is dan een ingewikkelde, theoretische aanpak, wat een praktisch hulpmiddel biedt voor iedereen die werkt met verbonden data.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.