CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

Probleemstelling

Hoewel foundation modellen (zoals DINO voor beeld en BERT voor taal) de AI-landschap hebben revolutioneerd, blijft het efficiënt aanpassen van deze modellen aan multimodale taken (taken die meerdere modaliteiten combineren, zoals beeld-taal of audio-visueel) een uitdaging.

• Dual-Stream Architecturen: Veel state-of-the-art systemen gebruiken twee aparte encoders (één per modality) in plaats van één gezamenlijk model.
• Beperkingen van LoRA: Bestaande Parameter-Efficient Fine-Tuning (PEFT) methoden, zoals LoRA (Low-Rank Adaptation), zijn zeer efficiënt maar werken geïsoleerd binnen elke modality. Ze passen de gewichten van de ene encoder aan zonder rekening te houden met de andere. Dit leidt tot een gebrek aan cross-modal bewustzijn, waardoor het model geen gebruik kan maken van complementaire informatie tussen de modaliteiten (bijvoorbeeld hoe tekst helpt bij het lokaliseren van een object in een afbeelding).
• Kosten: Volledige fine-tuning van grote foundation modellen is computationally te duur en onpraktisch.

Methodologie: CoLA

De auteurs introduceren CoLA (Cross-Modal Low-rank Adaptation), een nieuw PEFT-framework dat de beperkingen van LoRA oplost door een dedicated pad voor interactie tussen modaliteiten toe te voegen.

Kernarchitectuur:
CoLA introduceert een dubbel-pad ontwerp voor elke lineaire component (zoals Q, K, V in self-attention of FFN lagen) in de transformer blokken:

1. Intra-modal Pad ($\Delta W_L$): Dit is het standaard LoRA-pad dat de specifieke kenmerken van de eigen modality aanpast (bijv. visuele kenmerken in de visuele encoder).
2. Inter-modal Fusion Pad ($\Delta W_C$): Dit is het nieuwe pad dat specifiek is ontworpen voor cross-modal interactie.

Werkingsmechanisme:

• Cross-Modal Weegfactoren: In plaats van statische gewichten, worden de weights voor het inter-modal pad dynamisch gegenereerd op basis van de kenmerken van de gepaarde modality.
• Hypernetwork: Een klein, leerbaar hypernetwork verwerkt de globale representatie van de andere modality (bijv. de [CLS]-token of gemiddelde token-features) en genereert een transformatiematrix $\Phi$.
• Formule: De output $h_m$ voor modality $m$ wordt berekend als:
  $$h_m = W_0 x_m + \Delta W_L x_m + \Delta W_C x_m$$
  Waarbij $\Delta W_C = \lambda B_C \Phi A_C$. Hierbij is $\Phi$ de dynamische matrix gegenereerd door de andere modality, en $\lambda$ een leerbare schalingsfactor.
• Progressieve Propagatie: Cross-modal features worden niet slechts één keer toegevoegd, maar progressief doorgegeven door de lagen van de dual-encoder. De output van de ene encoder wordt gebruikt om de aanpassing in de volgende laag van de andere encoder te beïnvloeden, wat een continue uitwisseling van informatie mogelijk maakt.

Belangrijkste Bijdragen

1. Novel Framework: CoLA is het eerste PEFT-framework dat LoRA uitbreidt met een expliciete cross-modal adaptatiestroom, waardoor unimodale foundation modellen effectief kunnen worden aangepast aan multimodale taken zonder interferentie tussen modality-specifieke en cross-modal learning.
2. Multi-task Visual Grounding: CoLA stelt het eerste multi-task PEFT-framework voor visuele grounding (combinatie van Referring Expression Comprehension en Segmentation) in het leven te roepen.
3. Architectonische Innovatie: Het introduceert een symmetrische, bidirectionele interactie tussen modaliteiten binnen de lineaire componenten van transformers, in plaats van op module-niveau.

Resultaten

CoLA werd geëvalueerd op een breed scala aan visueel-taal- en audio-visuele benchmarks en presteerde consistent beter dan LoRA en andere bestaande PEFT-methoden.

• Visueel-Taal Taken (RefCOCO, RefCOCO+, RefCOCOg):
  • CoLA behaalde een relatieve verbetering van ongeveer 3% ten opzichte van LoRA op taken zoals Referring Expression Comprehension (REC) en Segmentation (RES).
  • Het overtrof zelfs full-fine-tuning baselines (zoals EEVG) en andere gespecialiseerde PEFT-methoden, terwijl het slechts 17.2% van de parameters trainbaar hield.
• Audio-Visuele Taken (AVE, AVS):
  • Op Audio-Visual Event Localization (AVE) en Segmentation (AVS) behaalde CoLA een relatieve verbetering van ongeveer 2% ten opzichte van LoRA.
  • Het presteerde concurrerend met gespecialiseerde methoden zoals STG-CMA en DG-SCT, maar met een eenvoudigere architectuur en gebruikmakend van volledig gescheiden unimodale foundation modellen.
• Efficiëntie: CoLA behoudt de parameter-efficiëntie van LoRA. De prestatiewinst komt dus niet door meer parameters, maar door de betere kwaliteit van de cross-modal interactie.

Significantie en Impact

• Democratisering van Multimodale AI: Door de rekenkosten te verlagen (via PEFT) en tegelijkertijd de prestaties te verhogen via cross-modal uitwisseling, maakt CoLA geavanceerde multimodale AI toegankelijker voor onderzoekers en organisaties met beperkte middelen.
• Flexibiliteit: Het framework is modality-onafhankelijk en kan worden toegepast op elke combinatie van modaliteiten (beeld, taal, audio) en downstream taken.
• Toekomstperspectief: De auteurs suggereren dat CoLA de basis kan vormen voor het integreren van multimodale capaciteiten in Large Language Models (LLMs), waardoor ze kunnen evolueren tot Multimodal LLMs zonder volledige hertraining.
• Beperking: Een kleine beperking is dat het inter-modal pad tijdens inferentie niet volledig kan worden samengevoegd met de oorspronkelijke gewichten (in tegenstelling tot standaard LoRA), omdat het afhankelijk is van dynamische cross-modal features. Dit introduceert een klein rekenkundig overhead, maar dit wordt gecompenseerd door de prestatiewinst.

Kortom, CoLA lost een fundamentele lacune op in de adaptatie van foundation modellen voor multimodale taken door een elegante en efficiënte manier te bieden om informatie tussen verschillende modaliteiten te laten stromen binnen een low-rank adaptatieparadigma.