Hyperedge Anomaly Detection with Hypergraph Neural Network

In het uitgestrekte landschap van data science vertrouwen onderzoekers vaak op kaarten om te begrijpen hoe zaken met elkaar verbonden zijn. De meest voorkomende kaart is een eenvoudige graaf, een structuur die twee dingen tegelijkertijd aan elkaar koppelt, zoals een vriendschap tussen twee mensen of een citatie tussen twee wetenschappelijke artikelen. Deze kaarten zijn krachtig, maar ze hebben een blinde vlek: ze kunnen niet gemakkelijk laten zien wat er gebeurt wanneer drie, vier of zelfs tientallen dingen als één enkele groep met elkaar interageren. Om deze complexe, meerwegrelaties vast te leggen, gebruiken wetenschappers een flexibelere structuur die een hypergraaf wordt genoemd. In een hypergraaf kan een enkele verbinding een hele verzameling items aan elkaar binden, vergelijkbaar met een groepschat waarin het gesprek toebehoort aan de hele groep in plaats van alleen aan paren vrienden. Hoewel wetenschappers hebben geleerd deze structuren te gebruiken om informatie te classificeren of links te voorspellen, bleef een cruciale vraag onbeantwoord: hoe spoor je de vreemde, ongewone groepen op die er niet bij horen? Het vinden van deze anomalieën is essentieel voor het opsporen van alles, van gecoördineerde fraude tot zeldzame interacties tussen ziekten, maar de instrumenten om dit in dergelijke complexe groepsinstellingen te doen, ontbraken grotendeels.

Een team onderzoekers van de Universiteit van Dhaka en de Universiteit van Manitoba heeft deze kloof opgevuld met een nieuwe aanpak die zij HYPADE noemen. Hun werk introduceert een methode om deze ongewone groepen automatisch te detecteren binnen een hypergraaf, zonder dat daar vooraf voorbeelden van nodig zijn wat een anomalie precies is. In de wereld van machine learning staat dit bekend als een unsupervised taak (ongesuperviseerde taak), wat betekent dat het systeem zelfstandig moet leren wat "normaal" gedrag is en vervolgens alles moet signaleren dat van dat patroon afwijkt. De onderzoekers bouwden een neuraal netwerk, een type computermodel geïnspireerd door het menselijk brein, dat specif으로 is ontworpen om de unieke architectuur van hypergrafen te begrijpen. In plaats van alleen naar individuele items te kijken, leert hun model om de hele groep als één entiteit te zien, waarbij de kenmerken van elk lid binnen die groep worden geanalyseerd om te bepalen of de collectie zelf verdacht is.

De kern van hun methode bestaat uit een tweestaps-proces van leren en vergelijken. Eerst verzamelt het model informatie van de individuele items in het netwerk om een representatie van elke groep te creëren. Het besteedt speciale aandacht aan de diversiteit binnen een groep door te kijken naar hoe verschillend de leden van elkaar zijn, omdat ongewone groepen vaak een vreemde mix van kenmerken hebben. Zodra het model een mentaal beeld heeft gevormd van hoe een typische groep eruitziet, berekent het een centraal punt, of een soort gemiddelde, voor alle groepen die het heeft gezien. Vervolgens meet het hoe ver een specifieke groep van dit gemiddelde verwijderd is. Als een groep heel dicht bij het centrum ligt, wordt deze als normaal beschouwd. Als het ver weg ligt, geeft het model een hoge score toe, wat het als een anomalie markeert. Deze dynamische aanpak stelt het model in staat om zijn begrip van "normaal" aan te passen terwijl het leert, waardoor een veelvoorkomende valkuil wordt vermeden waarbij het systeem instort tot één enkel, oninformatief punt.

Om te testen of dit idee werkte, paste het team hun algoritme toe op zes real-world datasets afkomstig uit diverse velden, waaronder biologie, academisch onderzoek en sociale netwerken. Ze creëerden ook zes synthetische datasets om ervoor te zorgen dat het model verschillende soorten datastructuren kon verwerken. De resultaten waren opmerkelijk. Op een dataset met betrekking tot paddenstoelsoorten, waarbij het doel was om eetbare variëteiten van giftige te onderscheiden, behaalde de nieuwe methode een perfecte score door elke enkele anomalie correct te identificeren. In andere complexe datasets met betrekking tot wetenschappelijke artikelen en samenwerkingen tussen auteurs, presteerde het model consequent beter dan bestaande methoden die vertrouwden op oudere statistische technieken of eenvoudigere neurale netwerken. De onderzoekers ontdekten dat hun aanpak bijzonder effectief was omdat het de subtiele, hoog-orde relaties kon vastleggen die andere tools misten, wat bewees dat het kijken naar de groep als geheel patronen onthult die het kijken naar paren niet kan zien.

De studie onderzocht ook waarom hun specifieke ontwerpkeuzes ertoe deden. Ze testten variaties van hun model, zoals een model dat een vast, onveranderlijk gemiddeld punt gebruikte in plaats van een dynamisch één, en een ander dat de diversiteit van de groepsleden negeerde. Deze tests toonden aan dat het vermogen om het gemiddelde bij te werken terwijl het model leerde, en om aandacht te besteden aan de variëteit binnen een groep, essentieel waren voor succes. Zonder deze functies had het model moeite om het normale van het vreemde te scheiden. Door succesvol aan te tonen dat deep learning kan worden aangepast om anomalieën in deze complexe, multi-entiteit structuren te vinden, hebben de onderzoekers een nieuw hulpmiddel voor data scientists geboden. Hun werk suggereert dat door computers te leren de volledige context van een groep te begrijpen, we de zeldzame en gevaarlijke gebeurtenissen beter kunnen detecteren die verborgen liggen in de ruis van alledaagse data.