🤖 machine learning

DuoGNN: Topology-aware Graph Neural Network with Homophily and Heterophily Interaction-Decoupling

Das Papier stellt DuoGNN vor, eine skalierbare und generalisierbare Graph Neural Network-Architektur, die homophile und heterophile Interaktionen durch topologische Kantenfilterung und Graph-Kondensation entkoppelt, um die Einschränkungen von Over-Smoothing und Over-Squashing sowohl bei medizinischen als auch bei nicht-medizinischen Knotenklassifikationsaufgaben effektiv zu adressieren.

Ursprüngliche Autoren: K. Mancini, I. Rekik

Veröffentlicht 2026-08-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: K. Mancini, I. Rekik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der Welt der künstlichen Intelligenz gibt es ein leistungsstarkes Werkzeug, das darauf ausgelegt ist, Beziehungen zu verstehen, statt nur isolierte Fakten. Stellen Sie sich eine Karte vor, auf der jeder interessante Punkt ein Punkt ist und jede Straße, die sie verbindet, eine Linie. Dies ist ein Graph, eine Art, Daten zu organisieren, die widerspiegelt, wie Dinge in der realen Welt oft miteinander verbunden sind: Moleküle, die binden, soziale Netzwerke, die sich bilden, oder Organe, die innerhalb des Körpers kommunizieren. Um diese Karten begreifbar zu machen, nutzen Wissenschaftler eine Art Computerprogramm namens Graph Neural Network. Diese Programme funktionieren dadurch, dass jeder Punkt seine unmittelbaren Nachbarn betrachtet, Informationen sammelt und dieses Wissen dann an die nächste Schicht von Punkten weitergibt. Es ist ein Prozess des lokalen Gesprächs, der es dem Computer theoretisch ermöglicht, das Gesamtbild zu verstehen, indem er den Teilen zuhört.

Doch diese Methode des Zuhörens bei den unmittelbaren Nachbarn hat einen verborgenen Fehler. Wenn der Computer versucht, zu tief zuzuhören, Schicht für Schicht, beginnt die einzigartige Identität jedes Punktes zu verschwimmen. Wenn ein Punkt zu einer bestimmten Gruppe gehört, können seine markanten Merkmale ausgewaschen werden, während er zu viele Informationen aus seiner Umgebung absorbiert, sodass er genau wie seine Nachbarn aussieht, selbst wenn diese unterschiedlich sind. Dies ist als Over-Smoothing (Überglättung) bekannt. Gleichzeitig, wenn die Karte schmale Brücken oder Engpässe besitzt, durch die viele Pfade gepresst werden müssen, werden Informationen zerquetscht und gehen verloren, bevor sie weit reisen können. Dies wird als Over-Squashing (Überquetschung) bezeichnet. Diese beiden Probleme verhindern, dass der Computer Verbindungen sieht, die über die gesamte Karte hinweg gespannt sind, was seine Fähigkeit einschränkt, komplexe Krankheiten zu diagnostizieren oder großflächige Muster zu verstehen.

Um dies zu lösen, haben die Forscher Kevin Mancini und Islem Rekik vom Imperial College London einen neuen Ansatz namens DuoGNN entwickelt. Anstatt den Computer zu zwingen, jede Verbindung auf der Karte auf die gleiche Weise zu behandeln, sortiert ihre Methode die Verbindungen zuerst in zwei unterschiedliche Kategorien ein, basierend auf der Art der Punkte, die sie verbinden. Einige Verbindungen verbinden ähnliche Punkte, wie etwa einen Cluster von Lebertumorzellen, die alle gleich aussehen und sich gleich verhalten. Andere verbinden sehr unterschiedliche Punkte, etwa indem sie eine Tumorzelle mit einer nahegelegenen gesunden Zelle verbinden. Die Forscher erkannten, dass der Versuch, diese beiden Arten von Verbindungen gemeinsam zu verarbeiten, die Verwirrung und den Informationsverlust verursachte.

Ihre Lösung umfasst einen dreistufigen Prozess, der wie ein Verkehrskontrolleur für Informationen fungiert. Zuerst scannt das System die gesamte Karte und filtert die Verbindungen heraus, die zu den engen Engpässen führen, wodurch die Karte effektiv in separate, gut vernetzte Inseln ähnlicher Punkte aufgeteilt wird. Dieser Schritt stellt sicher, dass der Computer die lokalen Muster klar sehen kann, ohne durch fernes, irrelevantes Rauschen verwirrt zu werden. Zweitens nimmt das System die wichtigsten Repräsentanten aus diesen Inseln und baut eine neue, viel kleinere Karte auf, die nur die unterschiedlichen Arten von Punkten verbindet. Diese verdichtete Karte erfasst die Fernbeziehungen, die zuvor verloren gingen, aber weil sie viel kleiner ist, kann der Computer sie schnell verarbeiten, ohne überfordert zu werden. Schließlich führt das System zwei separate Analysen gleichzeitig durch: eine, die die lokalen Inseln ähnlicher Punkte untersucht, und eine andere, die die Verbindungen zwischen den unterschiedlichen Arten von Punkten untersucht. Indem sie diese zwei Informationsströme getrennt halten, vermeidet der Computer das Verschwimmen von Merkmalen und das Zerquetschen von Daten.

Die Forscher testeten diese neue Architektur auf mehreren anspruchsvollen Datensätzen, darunter Bilder von Lebertumoren aus medizinischen Scans und eine große Sammlung wissenschaftlicher Arbeiten. In den medizinischen Tests wurden die Bilder in Graphen umgewandelt, wobei jeder Punkt einen kleinen Teil eines Tumors darstellte, und das Ziel war es, den Typ des Tumors zu klassifizieren. Das neue System übertraf bestehende Modelle konsistent und identifizierte Tumortypen mit höherer Genauigkeit und besserer Zuverlässigkeit. Beispielsweise erreichte das neue Modell auf einem Datensatz mit Lebertumoren eine Genauigkeit von etwa 80 Prozent, während das Standard-GCN-Modell 77,68 Prozent erreichte. Auch auf einem Datensatz wissenschaftlicher Arbeiten zeigte es eine überlegene Leistung und kategorisierte Forschungsfelder häufiger korrekt als bisherige Methoden.

Entscheidend war, dass dieser Ansatz unabhängig davon gut funktioniert, wie die Daten angeordnet sind. Ob der Graph ein dichter Cluster von medizinischen Bildern oder ein spärliches Netzwerk von Zitaten war, das System passte sich an, indem es anpasste, wie viele Verbindungen es filterte und wie viele Repräsentanten es auswählte. Die Forscher fanden heraus, dass ihre Methode auch für sehr große Graphen effizienter ist als andere populäre Techniken, die auf globaler Attention basieren, welche oft massive Mengen an Computerarbeitsspeicher und Zeit erfordern. Während das neue System für kleinere Aufgaben etwas mehr Speicher benötigte, skalierte es bei wachsenden Datenmengen wesentlich besser und vermied die Abstürze, die bei anderen Modellen beim Umgang mit den größten medizinischen Datensätzen auftraten.

Die Ergebnisse legen nahe, dass Computer viel effektiver aus komplexen Netzwerken lernen können, indem sie die natürliche Struktur der Daten respektieren und ähnliche von unterschiedlichen Interaktionen trennen. Die Forscher behaupteten nicht, jedes Problem auf diesem Gebiet gelöst zu haben, aber sie demonstrierten, dass ein topologiebewusstes Design – eines, das auf die Form und den Fluss der Verbindungen achtet – die Art und Weise, wie Maschinen die Welt verstehen, signifikant verbessern kann. Ihre Arbeit bietet einen praktischen Weg nach vorn für den Einsatz künstlicher Intelligenz in Bereichen wie der medizinischen Bildgebung, wo das Erfassen sowohl lokaler Details als auch ferner Beziehungen für eine genaue Diagnose essenziell ist. Der Code für ihr System ist nun für andere verfügbar, um ihn zu testen und darauf aufzubauen, was die Tür für robustere und skalierbare Werkzeuge in der Zukunft öffnet.

Technische Zusammenfassung von DuoGNN

Problemstellung
Graph Neural Networks (GNNs) haben in verschiedenen Bereichen, einschließlich der medizinischen Bildverarbeitung, durch die Nutzung lokaler Nachbarschaftsaggregation zur Erfassung kurzreichweitiger räumlicher Interaktionen eine hohe Wirksamkeit bewiesen. Dieses Paradigma leidet jedoch unter zwei grundlegenden Einschränkungen, die die Ausdrucksstärke des Modells behindern und die effektive Nutzung tiefer Architekturen verhindern:

Over-smoothing (Überglättung): Bei der heterophilen Knotenaggregation werden Knoten-Embeddings mit zunehmender Anzahl der Schichten ununterscheidbar, was dazu führt, dass die Merkmale von Knoten aus unterschiedlichen Klassen konvergieren.
Over-squashing (Überquetschung): Graph-Engpässe behindern die Nachrichtenübertragung (Message Passing), was zu einem exponentiellen Wachstum des rezeptiven Feldes eines Knotens führt und dazu zwingt, dass eine beträchtliche Menge an Informationen in fest dimensionierte Feature-Vektoren kollabiert.

Bestehende Lösungen, wie Transformer-basierte Attention-Mechanismen, Multi-Skalen-Architekturen und topologische Graph-Rewiring-Verfahren, weisen erhebliche Nachteile auf. Attention-Mechanismen leiden unter quadratischer Zeitkomplexität ( $O(|V|^2)$ ) und mangeln an topologischer Bewusstheit. Multi-Skalen-Modelle stützen sich oft auf Clustering-Algorithmen, die rechenintensiv und topologiespezifisch sind. Rewiring-Algorithmen können zwar Engpässe lindern, die Graphstruktur jedoch übermäßig stören oder Probleme in sehr großen oder kettenartigen Graphen nicht lösen. Folglich mangelt es an einem skalierbaren, generalisierbaren Ansatz, der gleichzeitig kurzreichweitige und langreichweitige Interaktionen (LRIs) über diverse Graph-Topologien hinweg erfassen kann.

Methodik: DuoGNN-Architektur
Die Autoren schlagen DuoGNN vor, eine topologiebewusste Architektur, die darauf ausgelegt ist, homophile und heterophile Interaktionen zu entkoppeln, um sie unabhängig voneinander zu verarbeiten. Das Modell arbeitet durch eine dreistufige Pipeline:

Interaktions-Entkopplungsphase (Interaction-Decoupling Stage):
- Topologische Kantenfilterung: Das Modell berechnet ein topologisches Maß (z. B. Zentralität oder Krümmung) über die Kanten des Eingabegraphen. Es entfernt die $\kappa$ Kanten mit dem höchsten Wert der Metrik (z. B. die höchste Zentralität), da diese Kanten wahrscheinlich am nächsten an Graph-Engpässen liegen. Dies zerlegt den Graphen effektiv in homophile zusammenhängende Komponenten. Dadurch entsteht ein homophiler Graph ( $G_{ho}$ ), der kurzreichweitige Interaktionen bewahrt und gleichzeitig das Risiko von Over-smoothing mildert.
- Heterophile Graph-Kondensation: Um die während der Kantenfilterung verlorenen langreichweitigen Interaktionen wiederherzustellen, identifiziert das Modell die $\mu$ am stärksten besiedelten Cluster in $G_{ho}$ . Für jeden Cluster wählt es den am stärksten vernetzten Knoten aus (der als der zuverlässigste Repräsentant angenommen wird) und konstruiert einen distinkten, voll vernetzten Graphen ( $G_{he}$ ). Diese Kondensation gewährleistet die Skalierbarkeit, indem sie die Anzahl der Knoten drastisch reduziert und gleichzeitig heterophile Interaktionen sowie LRIs bewahrt.
Parallele Transformationsphase (Parallel Transformation Stage):
- Das Modell verarbeitet $G_{ho}$ und $G_{he}$ durch unabhängige GNN-Module.
- Homophiles Modul: Verwendet Standard-Aggregation ( $X^{(i+1)}_{ho} = \phi_{ho}(\hat{A}_{ho}X^{(i)}_{ho}W^{(i)}_{ho})$ ), um die Embeddings von Knoten innerhalb derselben Klasse zu aggregieren.
- Heterophiles Modul: Wendet eine modifizierte Aggregationsstrategie an, um Over-smoothing zu verhindern. Es vermeidet die Aggregation von Merkmalen in der ersten Schicht, um die Originalmerkmale zu bewahren, und konkateniert die Ausgaben aller Schichten in ein Lineares Layer. Dies ermöglicht es dem Modell, Unterscheidungen zwischen unähnlichen Nachbarn auf mehreren Ebenen der Glätte zu erlernen.
Vorhersagephase (Prediction Stage):
- Die Ausgaben beider Module werden konkateniert und durch ein finales Lineares Layer geleitet, um die endgültigen Knotenrepräsentationen für die Klassifizierung zu generieren.

Kernbeiträge
Das Paper skizziert drei Kernbeiträge:

Topologischer Kantenfilterungs-Algorithmus: Ein Algorithmus, der homophile Interaktionen extrahiert, indem er Engpasskanten entfernt, was es dem Modell ermöglicht, über jede Graph-Topologie hinweg zu generalisieren.
Heterophile Graph-Kondensation: Eine Technik, die heterophile Interaktionen extrahiert, indem sie Cluster zu einem kleineren, voll vernetzten Graphen kondensiert, was die Skalierbarkeit sicherstellt.
Duale Aggregations-Pipeline: Ein Mechanismus, der Over-smoothing und Over-squashing verhindert, indem er homophile und heterophile Interaktionen unabhängig voneinander verarbeitet, anstatt sich auf ein einzelnes Aggregationsparadigma zu verlassen.

Ergebnisse und Evaluierung
DuoGNN wurde gegen Standard-Baselines (GCN, GIN, GAT) und deren Varianten mit topologischer Filterung auf medizinischen und nicht-medizinischen Datensätzen getestet:

Datensätze: MedMNIST (Organ-C und Organ-S, betreffend die Lebertumorklassifizierung aus CT-Scans) und Cora (Klassifizierung wissenschaftlicher Publikationen).
Leistung: DuoGNN-Varianten übertrafen die Baselines konsistent bei allen Aufgaben. Die durch Krümmung verbesserte Variante (unter Verwendung der diskreten Olivier-Ricci-Krümmung) erreichte die höchste Leistung, was wahrscheinlich auf ihre theoretische Fähigkeit zurückzuführen ist, Bereiche zu erkennen, die von Over-smoothing oder Over-squashing betroffen sind.
Skalierbarkeit: Während DuoGNN aufgrund seines dualen Aggregationsparadigmas einen höheren GPU-Speicherbedarf bei kleinen Graphen aufwies, zeigte es im Vergleich zu Attention-basierten Modellen (wie GAT), die bei den MedMNIST-Datensätzen Fehlermeldungen (OOM - Out of Memory) verursachten, eine überlegene Skalierbarkeit auf großen Graphen. Die heterophile Kondensation reduzierte die Rechenlast bei der Analyse von LRIs.
Ablation: Einfache Vorverarbeitungstechniken (Filterung angewandt auf Baselines) zeigten nur marginale Verbesserungen, was darauf hindeutet, dass die vollständige Architektur notwendig ist, um LRIs effektiv zu erfassen.

Bedeutung und Ansprüche
Die Autoren behaupten, dass DuoGNN eine skalierbare und generalisierbare Lösung für die langjährigen Herausforderungen von Over-smoothing und Over-squashing in GNNs bietet. Durch die Nutzung topologischer Eigenschaften zur Entkopplung der Interaktionstypen erweitert das Modell die Anwendbarkeit von GNNs in der medizinischen Bildverarbeitung und anderen Feldern, die mit großen Datensätzen mit komplexen, langreichweitigen Abhängigkeiten zu tun haben. Das Paper betont, dass im Gegensatz zu bisherigen Methoden, die entweder bei der Generalisierung über Topologien scheitern oder prohibitive Rechenkosten verursachen, DuoGNN ein verfeinertes Aggregationsprotokoll bereitstellt, das sich an Graphdichte und -struktur anpasst, ohne auf tiefe Netzwerke angewiesen zu sein, die zwangsläufig zu Leistungsdegradierung führen.

Technische Zusammenfassung von DuoGNN

Mehr davon