Not All Attention is Needed: Parameter and Computation Efficient Transfer Learning for Multi-modal Large Language Models

1. Problemstellung

Multimodale Large Language Models (MLLMs) wie LLaVA haben in Forschung und Industrie stark an Bedeutung gewonnen. Trotz ihres Erfolgs bestehen jedoch zwei wesentliche Herausforderungen bei der Anpassung an Downstream-Aufgaben:

• Hoher Ressourcenbedarf: MLLMs erfordern aufgrund der Integration neuer Modalitäten (z. B. Bilder) erheblich mehr Rechenleistung und Speicher als unimodale LLMs. Das Fine-Tuning für spezifische Anwendungen verbraucht oft übermäßige Parameter und Rechenzeit.
• Ineffizienz bestehender Methoden: Parameter-effizientes Transferlernen (PETL) reduziert zwar die Anzahl der trainierbaren Parameter, führt aber oft zu Latenzproblemen. Methoden, die Adapter verwenden, um redundante Module zu umgehen, fügen zusätzliche Verzweigungen hinzu, die die Inferenzgeschwindigkeit verlangsamen. Zudem bewerten bestehende Ansätze zur Redundanzreduktion (wie Dynamic Architecture Skipping, DAS) oft ganze Transformer-Layer, was zu einer groben und ineffizienten Reduktion führt, da nicht alle Komponenten (z. B. Multi-Head Attention vs. Feed-Forward Networks) gleich redundant sind.

Das Ziel ist daher eine Methode für Parameter- und Rechen-effizientes Transferlernen (PCETL), die sowohl die Anzahl der trainierbaren Parameter minimiert als auch die Inferenzgeschwindigkeit durch das Entfernen redundanter Module tatsächlich beschleunigt, ohne die Leistung zu beeinträchtigen.

2. Methodik: Effective Attention Skipping (EAS)

Die Autoren schlagen EAS vor, eine Methode, die auf der Erkenntnis basiert, dass Multi-Head-Attention (MHA)-Module in MLLMs für viele Downstream-Aufgaben oft redundant sind, während Feed-Forward Networks (FFN) kritischer für die Leistung sind.

Die Architektur von EAS besteht aus drei Hauptkomponenten:

A. Granulare Redundanzbewertung

Im Gegensatz zu früheren Ansätzen, die ganze Layer überspringen, bewertet EAS die Redundanz auf der Ebene einzelner MHA-Module.

• Es wird ein Algorithmus auf Basis des k-Armed Bandit-Frameworks verwendet, um automatisch zu lernen, welche MHA-Module für eine bestimmte Aufgabe am wenigsten wichtig sind.
• Das System trainiert Subnetzwerke mit zufällig übersprungenen MHAs und aktualisiert basierend auf den Verlustwerten eine Präferenzskala für jedes MHA-Modul. Module mit niedriger Präferenz werden als redundant identifiziert und übersprungen.

B. Propagation-of-Information Adapter (PIA)

Um die durch das Überspringen von MHAs entstehenden Informationslücken zu schließen, ohne die Inferenzgeschwindigkeit durch zusätzliche Adapter-Layer zu verlangsamen, wird der PIA eingeführt.

• Struktur: PIA nutzt eine Multi-Pfad-Architektur mit Down-Sampling (Projektion in einen niedrigeren Raum) und Up-Sampling. Ein entscheidendes Merkmal ist die Einbeziehung von globaler Durchschnittspooling (Average Pooling), um Informationen über alle Tokens hinweg auszutauschen und so die Rolle der Attention bei der Informationsverteilung zu imitieren.
• Re-Parametrierung (Zero-Latency): Dies ist der Kerninnovation. Während des Trainings fungiert PIA als Adapter. Nach dem Training werden die Gewichte des PIA jedoch in die benachbarten Feed-Forward Networks (FFN) des Modells re-parametrisiert (zusammengeführt).
  • Mathematisch wird die nichtlineare PIA-Struktur in eine lineare Schicht umgewandelt und mit den existierenden FFN-Gewichten addiert.
  • Ergebnis: Während der Inferenz existiert der PIA als separater Pfad nicht mehr; er ist vollständig in das Modell integriert. Dies ermöglicht null zusätzliche Latenz im Vergleich zum Basismodell, während die Redundanz der MHAs entfernt bleibt.

C. Optimierungsziel

Das Ziel ist die Minimierung des Verlusts unter der Bedingung, dass nur ein kleiner Teil der Parameter ($\sigma$) trainiert wird und redundante MHAs ($\theta_K^A$) durch PIA ersetzt werden, die später in FFNs ($\theta_F$) überführt werden.

3. Wichtige Beiträge

1. Entdeckung der MHA-Redundanz: Die Autoren zeigen experimentell, dass das Überspringen von MHA-Modulen die Leistung kaum beeinträchtigt, während das Überspringen von FFN-Modulen zu einem drastischen Leistungsabfall führt. Dies begründet die Fokussierung auf Attention-Skipping.
2. PIA (Propagation-of-Information Adapter): Entwicklung eines neuen, re-parametrierbaren Adapters, der nicht nur als Platzhalter für übersprungene Attention-Module dient, sondern sich nahtlos in die FFN-Struktur integrieren lässt, um echte Beschleunigung ohne Latenzkosten zu erreichen.
3. Granulare Redundanzbewertung: Einführung eines k-Armed-Bandit-basierten Algorithmus zur automatischen Identifizierung redundanter MHAs auf feiner Granularität, was effizienter ist als das Überspringen ganzer Layer.

4. Ergebnisse

Die Methode wurde auf drei verschiedenen MLLMs (LLaVA, LaVIN, METER) und sechs Benchmarks (ScienceQA, Slake, AID, VQA2.0, NLVR2, Flickr30K) evaluiert.

• Leistungssteigerung bei Beschleunigung:
  • Auf dem ScienceQA-Dataset konnte LLaVA-EAS eine Genauigkeit von 96,2 % erreichen und die Inferenzgeschwindigkeit um ca. +20 % steigern (im Vergleich zum Baseline-LLaVA).
  • Beim Modell LaVIN erreichte EAS eine Beschleunigung um den Faktor 2,18 (Inferenzzeit von 3,70s auf 1,69s) bei gleichbleibender oder sogar leicht verbesserter Genauigkeit (89,4 % vs. 90,0 %).
• Vergleich mit State-of-the-Art:
  • EAS übertrifft bestehende PETL-Methoden (wie Adapter, LoRA) und PCETL-Baselines (wie DAS) deutlich in Bezug auf die tatsächliche Inferenzgeschwindigkeit, da diese durch Adapter-Latenz behindert werden.
  • Im Vergleich zu DAS (Dynamic Architecture Skipping) ist EAS bei gleicher Anzahl übersprungener Module um 44,4 % bis 51,6 % schneller, da es keine zusätzlichen Adapter-Layer während der Inferenz benötigt.
• Parameter-Effizienz:
  • EAS aktualisiert nur einen sehr kleinen Bruchteil der Parameter (z. B. 0,11 % bei LaVIN-EAS12), erreicht aber dennoch eine hohe Leistung.
  • Die Reduktion der FLOPs (Rechenoperationen) beträgt bis zu 12 % im Vergleich zu anderen effizienten Methoden.

5. Bedeutung und Fazit

Das Paper adressiert ein kritisches Problem im Bereich der multimodalen KI: die Diskrepanz zwischen der enormen Größe von MLLMs und den Anforderungen an effiziente Inferenz in der Praxis.

• Paradigmenwechsel: Die Arbeit zeigt, dass „nicht jede Attention benötigt wird". Dies widerlegt die Annahme, dass alle Komponenten eines großen Modells für jede Aufgabe essenziell sind.
• Praktische Anwendbarkeit: Durch die Re-Parametrierungstechnik (PIA zu FFN) bietet EAS eine Lösung, die nicht nur im Training effizient ist, sondern auch in der Produktion (Inferenz) echte Geschwindigkeitsvorteile bietet, ohne die Hardware-Anforderungen zu erhöhen.
• Generalisierung: Die Methode funktioniert robust über verschiedene Architekturen (LLaVA, LaVIN, METER) und Domänen (Medizin, Fernerkundung, allgemeine Wissensfragen) hinweg.

Zusammenfassend stellt EAS einen bedeutenden Fortschritt für das Parameter- und Rechen-effiziente Transferlernen dar, da es erstmals eine Methode bietet, die sowohl die Parameterzahl als auch die Rechenlast und die Latenz gleichzeitig und signifikant reduziert, ohne Kompromisse bei der Modellqualität einzugehen.