Learning from Reliable Latent Prompts for Visual Recognition with Missing Modalities

Technische Zusammenfassung: Lernen aus zuverlässigen latenten Prompts für die visuelle Erkennung mit fehlenden Modalitäten

Problemstellung
Großskalige multimodale Modelle (LMMs) haben eine überlegene Leistung durch die Synergie von Informationen aus diversen, massiven, gepaarten Modalitäten erreicht. In realen Anwendungen sind Eingaben jedoch häufig unvollständig aufgrund von Datenschutzbeschränkungen, Sensorausfällen oder Einschränkungen bei der Datenerhebung. Bestehende Modelle, die für modalitätskomplette Daten optimiert wurden, leiden unter einem drastischen Leistungsabfall, wenn sie mit fehlenden Modalitäten konfrontiert werden. Jüngste Ansätze des Prompt-Learnings versuchen dies durch die Generierung dynamischer Prompts zu mildern, die auf Instanz-Merkmalen basieren; diese Strategien sind jedoch unter hohen Ausfallraten grundlegend fehlerhaft. Mit steigendem Anteil unvollständiger Modalitäten werden die für die Prompts verwendeten Instanz-Merkmale unzuverlässig, verzerrt und instabil. Dies führt dazu, dass dynamische Prompts in unimodale Beobachtungen kollabieren, was die kreuzmodale Ausrichtung stört und die Aufrechterhaltung konsistenter klassenspezifischer Strukturen verhindert.

Methodik: Lernen aus zuverlässigen latenten Prompts (LLP)
Um die Unzuverlässigkeit von eingangsabhängigen Strategien zu adressieren, schlagen die Autoren Learning from Reliable Latent Prompts (LLP) vor, ein Paradigma, das das Prompt-Learning von korrumpierten Eingaben entkoppelt. Anstatt sich auf Instanz-Merkmale zu verlassen, modelliert LLP eingangsagnostische lernbare Prompts als stabile latente Anker, die modalitätsspezifische Priors verkörpern.

Das Framework, das auf einem eingefrorenen CLIP-Backbone basiert, operiert durch drei Kernmechanismen:

1. Modalitätsspezifische latente Anker: LLP führt lernbare Prompt-Token ($P_{I,S}$ für Bilder und $P_{T,S}$ für Text) ein, die eingangsagnostisch sind. Diese Anker werden aus statischen Prompts über eine Transformationsfunktion (FC + GELU + LN) abgeleitet und dienen als stabile Fundamente, die modalitätsspezifische Priors kodieren, unabhängig vom spezifischen Eingabestichproben oder dessen Unvollständigkeit.
2. Dualer Anker-induzierter Prompt (DAIP): Um eine robuste kreuzmodale Interaktion ohne Abhängigkeit von unvollständigen Eingaben zu ermöglichen, verwendet das Framework einen dualen Pfad des Cross-Attention-Mechanismus. Der Text-Anker fragt den Bild-Anker ab (und umgekehrt), um komplementäre Informationen auszutauschen. Diese Interaktion generiert verfeinerte, duale anker-induzierte Prompts ($P_{I,D}$ und $P_{T,D}$) durch eine leichte MLP und Normalisierung. Dieser Prozess ermöglicht es dem Modell, fehlende semantische Informationen aus einem stabilen latenten Raum zu approximieren.
3. Schichtweise Prompt-Generierung: Die endgültigen Prompts für jede Modalität werden durch die Konkatenierung der latenten Anker und der induzierten Prompts konstruiert. Diese werden in jede Schicht des Encoders injiziert, was eine progressive Verfeinerung und hierarchisches Repräsentationslernen über die Tiefe des Netzwerks ermöglicht.

Während des Trainings werden nur die Prompt-Parameter und eine aufgabenspezifische Fully-Connected-Schicht optimiert, während das Backbone eingefroren bleibt.

Wesentliche Beiträge

• Ein neues Paradigma: Das Paper schlägt LLP vor, ein durch latente Priors gesteuertes Prompting-Framework, das das Prompt-Learning von unzuverlässigen Eingaben entkoppelt und stabile modalitätsspezifische Priors erfasst, um die Robustheit unter unvollständigen Beobachtungen zu verbessern.
• Eingangsagnostisches Design: Die Einführung von modalitätsspezifischen latenten Ankern und einem dualen Cross-Attention-Mechanismus ermöglicht ein eingangsunabhängiges Prompt-Learning und eine stabile kreuzmodale Interaktion, was eine semantische Kompensation selbst bei extremen Ausfallraten (z. B. 90 %) erleichtert.
• State-of-the-Art Performance: Der Ansatz zeigt eine überlegene Leistung über mehrere Benchmarks und Szenarien mit fehlenden Modalitäten hinweg, was die Wirksamkeit des Lernens aus zuverlässigen latenten Prompts gegenüber eingangsabhängigen Methoden validiert.

Experimentelle Ergebnisse
Die Autoren evaluierten LLP auf drei Benchmark-Datensätzen: MM-IMDb (Filgenre-Vorhersage), UPMC Food-101 (Lebensmittelklassifizierung) und Hateful Memes (Hate Speech Detektion). Die Experimente wurden unter variierenden Ausfallraten ($\eta = 50\%, 70\%, 90\%$) und fehlenden Szenarien (fehlender Text, fehlendes Bild, beides fehlt) durchgeführt.

• Leistung: LLP übertraf konsistent sechs State-of-the-Art-Baselines (einschließlich CoOp, MMP, MaPLe, DePT, DCP und SyP) über alle Datensätze und fehlenden Einstellungen hinweg.
• Hohe Ausfallraten: Die Leistungsgewinne waren unter hohen Ausfallraten (z. B. $\eta = 90\%$) am ausgeprägtesten. Beispielsweise erreichte LLP auf dem Hateful Memes Datensatz einen AUROC von 70,90 % bei 90 % fehlendem Text und übertraf damit signifikant die nächstbeste Methode (SyP mit 69,70 %).
• Ablationsstudien: Experimente bestätigten, dass die modalitätsspezifischen latenten Anker allein erhebliche Gewinne gegenüber den Baselines lieferten und die Hinzunahme der dualen anker-induzierten Prompts weitere signifikante Verbesserungen ermöglichte.
• Generalisierung: Modelle, die unter „beides fehlt“-Szenarien trainiert wurden, zeigten eine starke Generalisierung auf spezifische fehlende Szenarien (nur Text oder nur Bild), was auf eine flexible Anpassung an diverse Fehlermuster hindeutet.
• Visualisierung: Merkmalsvisualisierungen zeigten, dass LLP im Vergleich zu eingangsabhängigen Methoden, die oft zu fragmentierten, modalitätsspezifischen Clustern führen, kompaktere Intra-Klassen-Verteilungen und eine klarere Inter-Klassen-Trennung erzeugt.

Bedeutung und Behauptungen
Das Paper behauptet, dass LLP eine einfache, aber effektive Lösung für das Problem der fehlenden Modalitäten bietet, ein kritischer Flaschenhals für den praktischen Nutzen von LMMs. Durch die Verlagerung des Fokus von unzuverlässigen, instanzbasierten Eingangsmerkmalen hin zu stabilen, eingangsagnostischen latenten Priors bietet die Methode einen robusten Mechanismus für die kreuzmodale Wissenskompensation. Die Autoren betonen, dass dieses Paradigma besonders wertvoll für reale Anwendungen ist, bei denen die Datenintegrität nicht garantiert werden kann. Darüber hinaus bewahrt der Ansatz eine hohe Parametereffizienz, indem nur eine kleine Menge lernbarer Parameter optimiert wird, was ihn praktikabel für den Einsatz macht. Die Arbeit etabliert eine vielversprechende Richtung für robustes multimodales Lernen, indem sie zeigt, dass eine zuverlässige semantische Argumentation selbst dann erreicht werden kann, wenn bis zu 90 % der Modalitäten fehlen.