🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

Dieses Paper schlägt TriNoL vor, ein semi-überwachtes Adaptions-Framework für Vision Foundation Models, das die Robustheit gegenüber verrauschten Pseudo-Labels verbessert, indem es unbeschriftete Proben in drei konfidenzbasierte Regionen routet und spezialisierte LoRA-Experten für positive, Alignment- und negative Signale trainiert, während das Backbone eingefroren bleibt.

Ursprüngliche Autoren: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Veröffentlicht 2026-08-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Tiere zu erkennen. Sie haben ein paar Fotos mit perfekt aufgeschriebenen Namen, aber Sie haben auch einen riesigen Stapel Fotos ohne jegliche Namen. Um den Roboter zu lehren, bitten Sie ihn, die Namen für die unbeschrifteten Fotos zu erraten. Wenn er sich sicher rät, schreiben Sie diese Vermutung auf und nutzen sie als „Lehrer“ für die nächste Runde. Dies ist die Welt des Semi-Supervised Learning (semi-überwachtes Lernen), ein cleverer Trick in der Informatik, der es uns ermöglicht, aus riesigen Mengen unbeschrifteter Daten zu lernen.

Aber hier ist der Haken: Der Roboter ist nicht perfekt. Manchmal rät er zwar selbstbewusst, liegt aber völlig daneben. Diese falschen Vermutungen werden als „verrauschte Labels“ (noisy labels) bezeichnet. Wenn Sie den Roboter einfach von all seinen Vermutungen lernen lassen, könnte er anfangen, seinen eigenen Fehlern zu glauben, verwirrt werden und falsche Dinge lernen. Dies ist besonders knifflig bei der Verwendung von Vision Foundation Models – das sind gigantische, vortrainierte KI-Gehirne, die bereits viel über die Welt wissen. Wir wollen nicht das ganze Gehirn neu trainieren (das ist zu schwer und teuer); wir wollen nur einen winzigen, leichtgewichtigen „Adapter“ hinzufügen, der ihm hilft, unsere spezifische Aufgabe zu lernen. Die große Frage ist: Wie lehrt man diesen Adapter, wenn die „Lehrer“ (die Vermutungen des Roboters) eine Mischung aus Genies, verwirrten Schülern und totalen Lügnern sind?

Genau dieses Problem adressiert eine neue Methode namens TriNoL (Triple-expert learning from Noisy Labels). Die Forscher erkannten, dass es ein Fehler ist, alle unbeschrifteten Fotos gleich zu behandeln. Ein einzener, winziger Adapter, der versucht, von einer Mischung aus perfekten Vermutungen, wackeligen Vermutungen und wilden Vermutungen zu lernen, wird verwirrt. Es ist, als würde man versuchen, einen einzelnen Schüler gleichzeitig zum Mathegenie, zum kreativen Autor und zum Sicherheitsinspektor zu erziehen, indem man ihm einen ungeordneten Stapel Anweisungen gibt. Die Anweisungen für Mathe könnten den Anweisungen für Sicherheit widersprechen, und der Schüler lernt am Ende gar nichts gut.

Um dies zu lösen, schlagen die Autoren vor, die Lernaufgabe in drei spezialisierte „Experten“ aufzuteilen, jeder mit seinem eigenen winzigen Adapter. Sie sortieren die unbeschrifteten Fotos in drei Gruppen ein, basierend darauf, wie sicher sich der Roboter bei seiner Vermutung ist:

Der Positive Experte (Die hochkonfidenten Genies): Dieser Experte betrachtet nur Fotos, bei denen sich der Roboter extrem sicher ist (wie etwa zu 95 %). Diese Vermutungen sind meistens richtig, daher lernt dieser Experte hart und schnell und schärft die Fähigkeit des Roboters, zwischen einer Katze und einem Hund zu unterscheiden.
Der Alignment-Experte (Der verwirrte Mittelweg): Dieser Experte kümmert sich um die Fotos, bei denen der Roboter sich „naja“ fühlt (vielleicht zu 50–70 % sicher). Dies sind die kniffligen Fälle nahe der Grenzen der Kategorien. Anstatt eine harte Entscheidung zu erzwingen, sorgt dieser Experte sanft für Konsistenz und hilft dem Roboter, die verschwommenen Linien zwischen den Kategorien zu verstehen, ohne ihn zu zwingen, einen Fehler zu machen.
Der Negative Experte (Das Sicherheitsnetz für Lügner): Dieser Experte befasst sich mit den Fotos, bei denen der Roboter kaum eine Vermutung anstellt (geringe Konfidenz). Anstatt diese zu ignorieren oder zu versuchen, sie mit Gewalt als richtig darzustellen, lernt dieser Experte, die falschen Antworten zu vermeiden. Er fungiert wie ein Filter, der sicherstellt, dass der Roboter nicht von seinen eigenen wilden Vermutungen in die Irre geführt wird.

Die Autoren schlagen vor, dass das System durch die Trennung dieser drei Gruppen in drei verschiedene „Lernpfade“ viel robuster wird. Der „Positive“ Pfad bleibt sauber und stark, weil er nicht durch verrauschte Vermutungen verunreinigt wird. Der „Alignment“-Pfad hilft dem Roboter, die Grauzonen zu verstehen, und der „Negative“ Pfad schützt das System davor, in die Irre geführt zu werden.

Die Forscher testeten diese Idee an mehreren Datensätzen, darunter Bilder von Lebensmitteln, Vögeln und allgemeinen Objekten. Sie fanden heraus, dass TriNoL besonders gut funktioniert, wenn es sehr wenige beschriftete Beispiele gibt und die unbeschrifteten Daten chaotisch sind. Beispielsweise verbesserte TriNoL bei einem Lebensmittel-Datensatz mit nur wenigen beschrifteten Bildern die Genauigkeit von etwa 87,58 % auf 88,42 % und schlug damit andere Methoden. Sie zeigten auch, dass diese Verbesserung nicht nur dadurch zustande kommt, dass sie das System größer gemacht haben; selbst als sie TriNoL mit einem einzelnen, viel größeren Adapter mit der gleichen Rechenleistung verglichen, gewann TriNoL immer noch. Dies deutet darauf hin, dass das Geheimrezept nicht einfach mehr Gehirnleistung ist, sondern die richtige Art der Organisation.

Die Autoren merken jedoch vorsichtig an, dass dies kein Allheilmittel für jede Situation ist. In Fällen, in denen es viele beschriftete Bilder gibt oder die Daten bereits sehr sauber sind, schrumpft der Vorteil, drei Experten zu haben. Sie geben auch zu, dass das Sortiersystem verwirrt sein könnte, wenn die anfänglichen Konfidenzwerte des Roboters völlig falsch sind (fehlkalibriert sind). Aber für die spezifische Herausforderung, leistungsstarke KI-Modelle mit begrenzten Daten und verrauschten Vermutungen anzupassen, bietet dieser „Triple-Expert“-Ansatz einen vielversprechenden, strukturierten Weg, um das Lernen auf Kurs zu halten.

Technisches Resümee: TriNoL – Triple Expert Learning from Noisy Labels für die semi-überwachte VFM-Adaption

1. Problemstellung

Das Paper adressiert die Herausforderung der Adaption von Vision Foundation Models (VFMs), wie etwa CLIP und DINO-Serie Encodern, in semi-überwachten Lernsettings (SSL), in denen gelabelte Daten knapp sind und ungelabelte Daten auf Pseudo-Labels angewiesen sind. Während VFMs starke vortrainierte Repräsentationen bieten, besteht die Adaption dieser Modelle typischerweise darin, den Backbone einzufrieren und leichtgewichtige Parameter-Efficient Fine-Tuning (PEFT) Module, wie etwa LoRA (Low-Rank Adaptation), zu aktualisieren.

Das identifizierte Kernproblem ist die Sensitivität eines einzelnen LoRA-Adapters gegenüber verrauschten Pseudo-Labels. In Standard-SSL weisen Pseudo-Labels eine gemischte Zuverlässigkeit auf: Hochkonfidenz-Labels sind oft korrekt, Konfidenzwerte im mittleren Bereich sind ambivalent (nahe Entscheidungsgrenzen) und Niedrigkonfidenz-Labels sind häufig verrauscht. Bestehende Methoden behandeln die Konfidenz von Pseudo-Labels typischerweise als skalaren Gewichtungsfaktor oder als binären Filter (Auswahl hochkonfidenter Proben und Verwerfung des Rests). Die Autoren argumentieren jedoch, dass die Komprimierung der Gradienten aus diesen drei unterschiedlichen Zuverlässigkeitsregionen in einen einzelnen Low-Rank-Update-Raum zu Gradienteninterferenzen führt. Zuverlässige Gradienten, ambivalente Gradienten und verrauschte Gradienten konkurrieren innerhalb desselben Adapters, was potenziell die Adaptionsrichtung verzerrt und falsche Entscheidungsgrenzen verstärkt (Confirmation Bias).

2. Methodik: TriNoL

Die Autoren schlagen TriNoL (Triple-expert learning from Noisy Labels) vor, ein Framework, das die Pseudo-Label-Supervision in drei konfidenzbasierte Regionen zerlegt, die jeweils von einem spezialisierten LoRA-Experten behandelt werden.

2.1 Architektur

Frozen Backbone: Der vortrainierte VFM-Backbone ( $\psi$ ) bleibt eingefroren.
Triple LoRA Experten: Anstatt eines einzelnen Adapters verwendet TriNoL drei unabhängige LoRA-Zweige ( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ ), die in die eingefrorenen linearen Projektionen eingefügt werden:
1. Positiver Experte ( $e^+$ ): Behandelt hochkonfidente Pseudo-Labels.
2. Alignment-Experte ( $e^a$ ): Behandelt Pseudo-Labels mit mittlerer Konfidenz (ambivalent).
3. Negativer Experte ( $e^-$ ): Behandelt Pseudo-Labels mit niedriger Konfidenz (verrauscht).
Classifier Head: Ein gemeinsamer Klassifikations-Head ( $C_\omega$ ) wird parallel zu den Experten aktualisiert.

2.2 Konfidenzbasierte Routings

Während des Trainings werden ungelabelte Proben durch eine schwach augmentierte Ansicht verarbeitet, um Pseudo-Labels und Konfidenzwerte ( $q_i$ ) zu generieren. Zwei Schwellenwerte, $\tau^-$ und $\tau^+$ , unterteilen den ungelabelten Batch $B_u$ in drei Mengen:

Hochkonfident ( $B_u^+$ ): $q_i \ge \tau^+$ . Wird zum Positiven Experten geroutet.
Ambivalent ( $B_u^a$ ): $\tau^- \le q_i < \tau^+$ . Wird zum Alignment-Experten geroutet.
Niedrigkonfident ( $B_u^-$ ): $q_i < \tau^-$ . Wird zum Negativen Experten geroutet.

2.3 Experten-spezifische Lernziele

Jeder Experte wird mit einer distinkten Loss-Funktion optimiert, die auf die Zuverlässigkeit seiner zugewiesenen Proben zugeschnitten ist:

Positive Loss ( $L_{pos}$ ): Verwendet die Supervision durch Hard-Pseudo-Labels (Cross-Entropy) auf hochkonfidenten Proben, um eine diskriminative Adaption zu stärken.
Alignment Loss ( $L_{align}$ ): Verwendet Soft-Alignment (Kullback-Leibler-Divergenz) für Proben mit mittlerer Konfidenz. Er gleicht die Strong-View-Vorhersage des Alignment-Experten mit der abgetrennten Weak-View-Wahrscheinlichkeit ( $sg(p_i^w)$ ) ab. Dies vermeidet es, ambivalente Proben zu harten Entscheidungen zu zwingen, während Grenzinformationen erhalten bleiben.
Negative Loss ( $L_{neg}$ ): Darauf ausgelegt, eine Überkomittierung an unzuverlässige Labels zu unterdrücken. Anstatt Niedrigkonfidenz-Pseudo-Labels als Ziele zu behandeln, bestraft dieser Loss den Negativen Experten dafür, eine hohe Wahrscheinlichkeit für das aktuelle Top-Pseudo-Label zuzuweisen. Dies verhindert, dass verrauschte Signale die Aktualisierung dominieren, ohne davon auszugehen, dass alle Niedrigkonfidenz-Proben strikt falsch sind.

Das Gesamtziel ist eine gewichtete Summe: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 Inferenz

Während der Inferenz wird nur der Positive Experte verwendet, da dieser auf Ground-Truth-Labels und zuverlässigen Pseudo-Labels trainiert wurde. Die anderen Experten dienen dazu, den Trainingsprozess zu regularisieren.

3. Theoretische Analyse

Das Paper liefert eine theoretische Rechtfertigung für den Ansatz:

Gradienteninterferenz: Ein einzelner Adapter aktualisiert basierend auf einem gemischten Gradienten $G_{single} = G^+ + G^a + G^-$ . Die Abweichung vom idealen zuverlässigen Update ( $G^+$ ) ist proportional zur Magnitude der ambivalenten und verrauschten Gradienten.
Reduktion der Kontamination: Durch das Routing stellt TriNoL sicher, dass der Positive Experte einen Gradienten $G^+_{TriNoL}$ erhält, der signifikant weniger Kontamination durch $G^a$ und $G^-$ aufweist, was zu einer geringeren Abweichung vom zuverlässigen Ziel führt.
Subraum-Stabilität: Im Kontext der Low-Rank-Approximation ermöglicht die Trennung des „sauberen“ Signals ( $S$ ) von Rauschen ( $E$ ) und Ambivalenz ( $A$ ) dem Positiven Experten, eine sauberere Zielmatrix zu approximieren, was zu einem Low-Rank-Subraum führt, der näher an der wahren optimalen Richtung liegt als ein einzelner Adapter, der auf der kontaminierten Matrix trainiert wurde.
Optimierungsstabilität: Die Reduzierung des Bias im Gradienten des Positiven Experten führt zu einem kleineren Steady-State-Bias-Radius in der lokalen Optimierung, was die Konvergenzstabilität verbessert.

4. Experimentelle Ergebnisse

TriNoL wurde auf CIFAR-100, FOOD-101, Semi-Aves und ImageNet unter verschiedenen semi-überwachten Settings (variierende Anteile an gelabelten Daten und Rauschpegel) evaluiert.

Performance: TriNoL erzielt State-of-the-Art-Ergebnisse in Low-Label- und Noise-Settings. Bemerkenswerte Verbesserungen sind:
- FOOD-101 (N2): 88,42 % vs. 87,58 % (V-PET) und 87,27 % (FineSSL).
- Semi-Aves (Mixed OOD): 61,82 % vs. 61,30 % (FineSSL).
- CIFAR-100 (N4): 80,92 % vs. 80,66 % (FineSSL).
Effizienz: TriNoL verwendet drei Rank-8 LoRA-Experten (insgesamt ~0,96M Parameter), was vergleichbar mit einem einzelnen Rank-24 LoRA-Adapter ist. Trotz ähnlicher Parameteranzahl und Rechenkosten übertrifft TriNoL den rang-gleichen Einzeladapter (88,42 % vs. 87,73 % auf FOOD-101 N2), was zeigt, dass der Gewinn aus der Experten-Spezialisierung und nicht aus erhöhter Kapazität resultiert.
Ablationsstudien:
- Das Entfernen eines der drei Experten verschlechtert die Performance, was deren komplementäre Rollen bestätigt.
- Das Ersetzen des konfidenzbasierten Routings durch Random Routing oder geteilte Loss-Funktionen führt zu unterlegenen Ergebnissen, was die Notwendigkeit sowohl des Routings als auch der spezialisierten Objectives validiert.
- Eine Sensitivitätsanalyse zeigt, dass die optimale Performance mit den Schwellenwerten $(\tau^-, \tau^+) = (0,3, 0,7)$ und spezifischen Loss-Gewichten erreicht wird.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass TriNoL einen signifikanten Wandel in der Art und Weise bietet, wie die semi-überwachte VFM-Adaption mit Pseudo-Label-Rauschen umgeht. Seine primären Beiträge sind:

Identifikation einer Limitation: Es hebt hervor, dass die Komprimierung gemischter Zuverlässigkeits-Pseudo-Label-Gradienten in einen einzigen Low-Rank-Raum eine fundamentale Schwäche aktueller PEFT-basierter SSL-Methoden ist.
Konfidenz-bewusstes Routing: Es schlägt vor, dass die Zuverlässigkeit von Pseudo-Labels den Adaptionspfad steuern sollte, nicht nur das Loss-Gewicht. Durch die Zuweisung von zuverlässigen, ambivalenten und unzuverlässigen Proben an spezialisierte Experten reduziert die Methode Gradienteninterferenzen.
Robustheit bei geringen Kosten: TriNoL verbessert die Robustheit gegenüber verrauschter Supervision bei gleichzeitiger Beibehaltung der Effizienz der Frozen-Backbone-Adaption, wodurch es für ressourcenbeschränkte Szenarien mit begrenzten Labels geeignet ist.

Die Autoren räumen Einschränkungen ein und merken an, dass die Methode auf konfidenzbasiertem Routing basiert (welches durch Fehlkalibrierung oder Domain Shift beeinflusst werden kann) und derzeit auf die Bildklassifikation fokussiert ist. Zukünftige Arbeiten für Dense Prediction und multimodale Aufgaben werden angeregt.