🤖 machine learning

Where LLM Annotators Fail: Label-Free Learning on Graphs with LLMs

Dieser Beitrag stellt Cluster-Aware Noise Estimation (CANE) vor, ein label-freies Lernframework, das die Knotenklassifizierung in Graphen verbessert, indem es von LLMs generierte Pseudo-Labels identifiziert und korrigiert, basierend auf ihrer unterschiedlichen Zuverlässigkeit in verschiedenen Feature-Space-Clustern, anstatt Annotationsrauschen als uniform oder klassenbedingt zu behandeln.

Ursprüngliche Autoren: Safal Thapaliya, Jiatan Huang, Chuxu Zhang

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Safal Thapaliya, Jiatan Huang, Chuxu Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek zu organisieren, in der jedes Buch eine Umschlagbeschreibung hat, aber niemand weiß, zu welcher Kategorie jedes Buch gehört. Sie müssen sie in Sektionen wie „Wissenschaft", „Geschichte" oder „Fiktion" sortieren.

In der Vergangenheit müssten Sie ein Team menschlicher Experten einstellen, um jedes einzelne Buch zu lesen und zu etikettieren. Das dauert ewig und kostet ein Vermögen.

Vor kurzem haben wir begonnen, KI-„Superleser" (Large Language Models, oder LLMs) für die Etikettierung einzusetzen. Sie sind schnell und günstig. Sie zeigen ihnen ein paar Bücher, sie raten die Kategorie, und dann verwenden Sie eine intelligente Sortiermaschine (ein Graphisches Neuronales Netzwerk), um den Rest basierend auf den Beziehungen zwischen den Büchern zueinander zu ermitteln.

Das Problem: Die KI ist etwas unzuverlässig, und sie ist nicht überall gleich unzuverlässig.

Die Arbeit argumentiert, dass frühere Methoden die Fehler der KI wie einen einfachen Durchschnitt behandelten. Sie dachten: „Okay, die KI erkennt 'Wissenschaft'-Bücher zu 70 % der Zeit richtig." Also vertrauten sie den „Wissenschaft"-Etiketten der KI zu 70 % der Zeit überall in der Bibliothek.

Aber die Autoren entdeckten etwas Überraschendes: Die Zuverlässigkeit der KI hängt davon ab, wo sich das Buch im „Ideenraum" der Bibliothek befindet, nicht nur davon, zu welcher Kategorie es gehört.

Stellen Sie sich die Bibliothek als eine riesige Karte vor.

In der „Hochzuverlässigkeits-Zone" des Wissenschaftsabschnitts ist die KI ein Genie (90 % Genauigkeit).
In der „Niedrigzuverlässigkeits-Zone" desselben Wissenschaftsabschnitts (vielleicht Bücher mit seltsamen, verwirrenden Titeln) ist die KI schrecklich (20 % Genauigkeit).

Wenn Sie den gesamten Wissenschaftsabschnitt als „70 % zuverlässig" behandeln, vertrauen Sie der KI in der verwirrenden Zone zu viel (und machen Fehler) und vertrauen ihr in der einfachen Zone nicht genug (und verschwenden ihre gute Arbeit).

Die Lösung: CANE (Cluster-Aware Noise Estimation)

Die Autoren entwickelten ein neues System namens CANE, um dies zu beheben. So funktioniert es, mit einer einfachen Analogie:

1. Der „Stichprobencheck" (Repräsentative Samen)

Anstatt die KI zu bitten, alles zu etikettieren, wählt das System zunächst eine kleine, vielfältige Gruppe von Büchern aus verschiedenen Ecken der Bibliothekskarte aus. Es bittet die KI, diese zu etikettieren.

2. Die „Vertrauenskarte" (Cluster-Conditional Noise Estimation)

Dies ist der magische Schritt. Das System betrachtet die Bücher, die die KI etikettiert hat, und fragt: „Hat die KI das richtig erkannt?"
Da sie noch nicht die echten Antworten haben, verwenden sie einen cleveren Trick: Sie prüfen, ob die Nachbarn der KI zustimmen.

Wenn die KI ein Buch als „Wissenschaft" etikettiert und seine Nachbarn (Bücher mit ähnlichen Umschlägen) auch für die KI wie „Wissenschaft" aussehen, sagt das System: „Okay, dieses Etikett ist wahrscheinlich sicher."
Wenn die KI ein Buch als „Wissenschaft" etikettiert, aber seine Nachbarn wie „Geschichte" aussehen, sagt das System: „Oh je, die KI ist hier verwirrt. Vertrauen Sie diesem Etikett nicht."

Indem sie dies tun, erstellt das System eine Vertrauenskarte. Es lernt, dass „in dieser spezifischen Ecke des Wissenschaftsabschnitts die KI wackelig ist" und „in dieser anderen Ecke die KI ein Rockstar ist".

3. Die „Intelligente Sortierung" (Pseudo-label Expansion)

Jetzt beginnt das System, den Rest der Bibliothek zu sortieren.

Wenn es auf ein Buch in einer „Rockstar-Zone" stößt, sagt es: „Die KI sagte 'Wissenschaft', und die Vertrauenskarte besagt, dass diese Zone zuverlässig ist. Ich werde dieses Etikett akzeptieren."
Wenn es auf ein Buch in einer „Wackel-Zone" stößt, sagt es: „Die KI sagte 'Wissenschaft', aber die Vertrauenskarte besagt, dass diese Zone verwirrend ist. Ich werde dieses Etikett nur akzeptieren, wenn ich zu 100 % sicher bin."

4. Der „Doppelcheck" (Iterative Label Correction)

Schließlich geht das System zurück und überprüft seine Arbeit. Wenn ein Buch als „Wissenschaft" etikettiert wurde, aber die eigene interne Logik des Systems (das Graphische Neuronale Netzwerk) denkt, es sieht eher wie „Geschichte" aus, überprüft es die Vertrauenskarte erneut.

Wenn sich das Buch in einer „Wackel-Zone" befindet, ändert das System das Etikett schnell.
Wenn sich das Buch in einer „Rockstar-Zone" befindet, ist das System stur und behält das ursprüngliche Etikett der KI bei, es sei denn, es gibt überwältigende Beweise für eine Änderung.

Die Ergebnisse

Die Autoren testeten dies an mehreren realen Datensätzen (wie wissenschaftlichen Artikeln und Wikipedia-Seiten).

Wo es glänzt: Bei unordentlichen Datensätzen, bei denen die Leistung der KI über verschiedene Themen hinweg stark variiert, übertrifft CANE frühere Methoden erheblich. Es behebt die „blinden Flecken", in denen andere Systeme versagen.
Wo es neutral ist: Bei sehr sauberen Datensätzen, bei denen die KI überall konsistent gut ist, schadet CANE der Leistung nicht, bringt aber auch nicht viel zusätzlichen Nutzen.

Kurz gesagt

Frühere Methoden behandelten die KI wie einen einzelnen Mitarbeiter mit einem festen Fähigkeitsniveau. CANE behandelt die KI wie ein Team von Mitarbeitern, die in einigen Räumen der Bibliothek Experten sind, aber in anderen verwirrt werden. Indem es genau kartiert, wo die KI zuverlässig ist und wo nicht, erstellt CANE einen viel genaueren Bibliothekskatalog, ohne für jedes einzelne Buch teure menschliche Experten einstellen zu müssen.

Technische Zusammenfassung: Wo LLM-Annotatoren versagen: Label-freies Lernen auf Graphen mit LLMs

Problemstellung

Die Knotenklassifikation auf textattribuierten Graphen (TAGs) stützt sich traditionell auf gelabelte Knoten, doch die Beschaffung von Ground-Truth-Labels im großen Maßstab ist kostspielig. Während Large Language Models (LLMs) eine kostengünstige Alternative bieten, indem sie eine kleine Teilmenge von Knoten basierend auf semantischem Inhalt annotieren (z. B. Paper-Zusammenfassungen, Produktbeschreibungen), sind diese generierten Labels inhärent verrauscht. Bestehende label-freie Graph-Lernmethoden versuchen, dieses Rauschen zu mildern, indem sie die Zuverlässigkeit von LLMs entweder als globale Eigenschaft des Annotators oder als klassenbedingtes Verwechslungsmuster behandeln.

Die Autoren identifizieren einen kritischen Fehlermodus in diesen bestehenden Ansätzen: LLM-Annotationsfehler sind nicht uniform. Stattdessen variiert die Zuverlässigkeit erheblich über Feature-Raum-Regionen (Cluster) hinweg, selbst innerhalb derselben wahren Klasse. Beispielsweise zeigt die Klasse „Database" im DBLP-Datensatz eine durchschnittliche LLM-Genauigkeit von 64,7 %, doch dies verschleiert eine scharfe Diskrepanz, bei der die Genauigkeit in einem Cluster bei 81,0 % und in einem anderen bei 21,6 % liegt. Die Behandlung der Zuverlässigkeit als klassenbedingt führt dazu, dass unzuverlässige Cluster überbewertet und zuverlässige Cluster untergenutzt werden, was dazu führt, dass sich Fehler durch den Graphen über Nachrichtenweitergabe und Pseudo-Label-Erweiterung ausbreiten.

Methodik: Cluster-bewusste Rauschschätzung (CANE)

Um dies zu adressieren, schlagen die Autoren CANE vor, ein label-freies Lernframework, das clusterbedingte LLM-Zuverlässigkeit schätzt, ohne Ground-Truth-Labels zu benötigen. Die Pipeline besteht aus fünf Stufen:

Auswahl und Annotation repräsentativer Seeds:
- Knoten werden mittels eines selbstüberwachten GraphMAE2-Encoders eingebettet und in $K=2C$ Regionen gruppiert (wobei $C$ die Anzahl der Klassen ist).
- Die zentralsten Knoten in jedem Cluster werden als Seeds ausgewählt, um die Repräsentation verschiedener Feature-Raum-Regionen sicherzustellen.
- Eine Teilmenge dieser Seeds ( $\rho = 0.4$ ) wird als Sonde (probe set) bezeichnet und zunächst vom LLM annotiert. Die verbleibenden Seeds werden später annotiert. Diese Sonde dient zur Schätzung der Zuverlässigkeit, ohne zusätzliche Query-Kosten zu verursachen.
Clusterbedingte Rauschschätzung:
- CANE schätzt eine clusterbedingte Übergangsmatrix $T_c$ , wobei $T_c[k, i, j] = P(\hat{y}=j | y=i, \text{Cluster}=k)$ .
- Entscheidend ist, dass dies ohne Ground Truth geschätzt wird. Die Methode nutzt Kreuzmodalitäts-Übereinstimmung: Für einen Sondenknoten $v$ berechnet sie den Anteil seiner Nachbarn (sowohl Graphnachbarn als auch nächstgelegene Nachbarn im Feature-Raum), die vom LLM identisch zu $v$ gelabelt wurden.
- Eine hohe Übereinstimmung zwischen unabhängigen Ansichten (Struktur und Features) dient als Proxy für die Korrektheit des Labels. Die Diagonaleinträge von $T_c$ werden auf den mittleren Übereinstimmungswert für jedes (Cluster, Klasse)-Paar gesetzt, wobei die Nicht-Diagonaleinträge gleichmäßig verteilt werden.
Pseudo-Label-Erweiterung:
- Ein GNN wird auf den initial vom LLM gelabelten Seeds trainiert.
- Während der Selbsttrainings-Erweiterung wird die Annahmeschwelle für Pseudo-Labels basierend auf der lokalen Zuverlässigkeit angepasst. Für einen Knoten im Cluster $k$ , der als Klasse $g$ vorhergesagt wird, wird die Schwelle $\tau_g$ erhöht, wenn die geschätzte Zuverlässigkeit $T_c[k, g, g]$ niedrig ist:
  $\tau_g(k) = \tau_g + \alpha(1 - T_c[k, g, g])$
- Dies stellt sicher, dass in unzuverlässigen Regionen nur hochkonfidente Vorhersagen akzeptiert werden, wodurch die Ausbreitung von Rauschen verhindert wird.
Iterative Label-Korrektur:
- Das Framework trainiert das GNN iterativ neu und korrigiert Labels, die nicht mit der aktuellen Vorhersage des Modells übereinstimmen.
- Ein Label wird nur überschrieben, wenn die GNN-Vorhersage durch eine ausreichende Anzahl übereinstimmender Nachbarn gestützt wird, wobei die erforderliche Stützenschwelle durch die lokale Zuverlässigkeit $T_c$ moduliert wird. Labels in zuverlässigen Regionen sind geschützt vor dem Überschreiben durch schwache Evidenz, während Labels in verrauschten Regionen eher korrigiert werden.
Abschließendes Training:
- Ein finales GNN wird auf dem stabilisierten, verfeinerten Label-Satz trainiert, um Vorhersagen für alle Knoten zu erzeugen.

Hauptbeiträge

Identifikation clusterbedingten Rauschens: Die Arbeit zeigt empirisch, dass LLM-Annotationsrauschen in TAGs nicht nur klassenabhängig, sondern regionsabhängig ist. Die Zuverlässigkeit variiert stark über Feature-Raum-Cluster hinweg innerhalb derselben Klasse, ein Phänomen, das bestehende Methoden nicht erfassen.
CANE-Framework: Die Autoren schlagen ein label-freies Framework vor, das eine pro-Cluster-Übergangsmatrix unter Verwendung selbstüberwachter Graph-Embeddings und LLM-Annotationsstatistiken (insbesondere Kreuzmodalitäts-Übereinstimmung) schätzt, wodurch während der Rauschschätzphase keine Ground-Truth-Labels benötigt werden.
Adaptives Lern-Pipeline: CANE integriert diese Zuverlässigkeitsschätzungen sowohl in die Pseudo-Label-Erweiterung (via adaptiver Schwellenwerte) als auch in die iterative Label-Korrektur (via zuverlässigkeitsgesteuerter Updates), wodurch das System Labels in zuverlässigen Regionen stärker vertraut und sie in verrauschten Regionen aggressiver korrigiert.

Experimentelle Ergebnisse

Die Autoren evaluierten CANE auf fünf textattribuierten Graph-Benchmarks (CITESEER, CORA, PUBMED, WIKICS, DBLP) unter Verwendung von GCN- und GAT-Backbones und verglichen es mit starken Baselines wie LLM-GNN, DMA und LOCLE.

Leistung: CANE schnitt bei 8 von 10 Datensatz-Backbone-Kombinationen besser ab als die stärkste label-freie Baseline (LOCLE). Es übertraf LLM-GNN und DMA konsistent über alle Settings hinweg.
Korrelation mit Rauschstruktur: Die Leistungsgewinne waren am signifikantesten bei Datensätzen mit starkem clusterbedingtem Rauschen (z. B. DBLP, WIKICS, CITESEER), bei denen die Genauigkeit des LLM zwischen Clustern stark schwankt. Bei PUBMED, wo die LLM-Genauigkeit bereits hoch und uniform war, lieferte CANE nur marginale Gewinne, was mit dem Design der Methode übereinstimmt.
Robustheit: Die Methode blieb effektiv, als der zugrundeliegende LLM-Annotator von GPT-3.5-turbo zu GPT-4o-mini gewechselt wurde, was darauf hindeutet, dass CANE sich an die spezifischen Fehlermuster des Annotators anpasst, anstatt sich auf Eigenarten eines bestimmten Modells zu verlassen.
Ablationsstudien: Das Entfernen des clusterbedingten Rauschmodells (Zusammenführung zu einer globalen Matrix) reduzierte die Leistung erheblich, was bestätigt, dass die lokale Rauschmodellierung der Haupttreiber der Verbesserung ist. Die label-freie Schätzung von $T_c$ erzielte nahezu identische Ergebnisse wie eine Oracle-Schätzung unter Verwendung von Ground Truth, was die Wirksamkeit des auf Übereinstimmung basierenden Schätzers validiert.
Budget-Sensitivität: CANE zeigte in Budget-armen Regimen (knappe Labels) überlegene Leistung und verschlechterte sich bei sinkendem Annotationsbudget weniger stark als Baselines.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass clusterbedingte Rauschmodellierung eine notwendige Evolution über klassenbedingte Ansätze im label-freien Graph-Lernen hinaus darstellt. Indem anerkannt wird, dass die LLM-Zuverlässigkeit eine Funktion lokaler Feature-Raum-Regionen ist, bietet CANE einen präziseren Mechanismus zur Filterung und Korrektur verrauschter Supervision.

Die Autoren positionieren CANE als einen Schritt hin zu robusterem, kosteneffektiverem Graph-Lernen, das die semantischen Fähigkeiten von LLMs nutzt und gleichzeitig deren Inkonsistenz mindert. Sie stellen fest, dass die Methode zwar die Graphstruktur nicht modifiziert (im Gegensatz zu einigen Baselines, die Graph-Rewiring verwenden), aber einen komplementären Ansatz bietet, der mit strukturellen Methoden kombiniert werden kann. Die Arbeit hebt hervor, dass der „Fehlermodus" von LLM-Annotatoren nicht zufällig, sondern strukturiert ist, und dass die Ausnutzung dieser Struktur erhebliche Verbesserungen bei der Knotenklassifikation ohne menschliches Eingreifen ermöglicht.