Technische Samenvatting: Verbetering van de Trainings-efficiëntie van MLLM's via Stage-Aware Sparsiteit

Probleemstelling

Multimodale Grootte Taalmodellen (MLLM's) hebben aanzienlijke capaciteiten aangetoond, maar lijden onder inefficiënte trainingsprocessen. Deze inefficiëntie vloeit voort uit twee primaire bronnen van redundantie:

1. Data-redundantie: Multimodale invoer introduceert honderden visuele tokens per steekproef, waarvan vele slechts marginaal bijdragen aan de uiteindelijke voorspellingen.
2. Parameter-redundantie: Diepe transformer-architecturen bevatten tientallen lagen, maar niet alle lagen zijn even kritisch gedurende het volledige trainingsproces.

Bestaande efficiëntiemethoden behandelen deze problemen doorgaans onafhankelijk van elkaar (bijvoorbeeld token-compressie of het overslaan van lagen) en behandelen redundantie als een statische eigenschap. De paper betoogt echter dat redundantiepatronen stage-afhankelijk zijn. Tijdens modale uitlijning is het taalmodel (LLM) vaak bevroren en ligt het knelpunt in het verwerken van enorme sequenties van visuele tokens. Daarentegen verschuift tijdens instructie-tuning het knelpunt naar de rekenkundige overhead van diepe transformer-lagen, aangezien de LLM-parameters actief worden bijgewerkt. Het behandelen van redundantie als statisch leidt tot suboptimale afwegingen tussen efficiëntie en prestaties.

Methodologie: Schema voor Spars Training (STS)

De auteurs stellen het Schema voor Spars Training (STS) voor, een unifyend kader dat sparsiteitsstrategieën aanpast aan de specifieke rekenkundige knelpunten van verschillende trainingsstadia. STS bestaat uit twee complementaire componenten:

1. Visuele Token Compressor (VTC) – Stadium I: Modale Uitlijning

Toegepast tijdens het stadium van modale uitlijning, waarbij het LLM bevroren is en alleen de projector wordt bijgewerkt.

• Functie: Verkort de lengte van visuele tokens ($T_v$) voordat ze het LLM binnenkomen, om data-redundantie te verminderen.
• Mechanisme: Een selectiefunctie $C$ mapt $T_v \in \mathbb{R}^{b \times n \times d}$ naar een gecomprimeerde sequentie $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$).
• Selectiestrategieën:
  • Uniforme Steekproef: Selectie met vaste stapgrootte om globale semantische structuren te behouden.
  • Willekeurige Steekproef: Introduceert stochastiek om robuustheid te verbeteren.
  • Instructie-geleid: Gebruikt cosinus-ähnelijkheid tussen visuele en tekst-tokens om irrelevante visuele informatie te verwijderen.
• Implementatie: De paper kiest Uniforme Steekproef als standaardstrategie, omdat deze de meest gebalanceerde prestaties over taken biedt in vergelijking met de instabiliteit van willekeurige steekproeven of de bias van instructie-geleide selectie.

2. Dynamische Layer Skipper (LDS) – Stadium II: Instructie-tuning

Toegepast tijdens instructie-tuning, waarbij LLM-parameters worden bijgewerkt.

• Functie: Overslaat dynamisch onnodige decoder-lagen om parameter-bijwerkingen en rekenkundige overhead te verminderen.
• Mechanisme: Voor laag $l$ bij trainingsstap $e$ wordt de verborgen toestand bijgewerkt als $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$, waarbij $z_l$ een Bernoulli-variabele is die wordt gestuurd door een overslaan-kans $p_l(e)$.
• Kansformulering: De kans op overslaan combineert twee factoren:
  • Stap-gebaseerde Afname: Gebaseerd op de convergentietrend van "grof naar fijn". Vroeg in de training zijn gradiënten grof, wat hogere overslaan-snelheden toestaat. De kans neemt kwadratisch af naarmate de training vordert: $\alpha (\frac{E-e}{E})^2$.
  • Diepte-gebaseerde Aanpassing: Met erkenning dat ondiepe lagen kenmerken effectiever extraheren dan diepe lagen, wordt de kans aangepast op basis van de laagdiepte $l$: $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• Standaardconfiguratie: De auteurs vinden dat $\alpha=0.5$ en $\epsilon=0.5$ de beste balans bieden tussen efficiëntie en taakprestaties.

Belangrijkste Bijdragen

1. Analyse van Stage-afhankelijke Redundantie: Het werk onthult dat redundantie in MLLM-training niet statisch is; data-redundantie domineert bij modale uitlijning, terwijl parameter-redundantie instructie-tuning domineert.
2. Unifyend Kader (STS): Stelt een stage-aware schema voor spars training voor dat evoluerende redundantiepatronen expliciet modelleert, en toepast van sparsiteit op token-niveau tijdens uitlijning en op laag-niveau tijdens tuning.
3. Empirische Validatie: Demonstreert door middel van uitgebreide experimenten dat STS de rekenkosten aanzienlijk verlaagt terwijl hoge nauwkeurigheid wordt behouden over diverse MLLM-architecturen.

Experimentele Resultaten

De auteurs evalueerden STS op vijf MLLM's (LLaVA, Mipha, Phi-2, MoE-LLaVA-varianten) over benchmarks zoals GQA, VQAv2, SQA, POPE en MME.

• Efficiëntie: STS bereikte een gemiddelde reductie van ruim 15% in FLOPs. Specifiek werd de theoretische FLOPs-ratio ten opzichte van de baseline gereduceerd tot ongeveer 82,2%.
• Prestaties: De methode behield gemiddeld 96,9% tot 99,7% van de baseline-nauwkeurigheid.
  • Robuustheidsmetrieken (POPE) en uitgebreide evaluaties (MME) toonden minimale degradatie.
  • Perceptie-gerichte taken (GQA, VQAv2) toonden iets meer merkbare dalingen (rond 2–3 punten), hoewel STS in sommige gevallen (bijvoorbeeld SQA op LLaVA) de baseline overtrof, wat wijst op potentiële impliciete regularisatie-effecten.
• Ablatiestudies:
  • VTC: Uniforme steekproeven bleken robuuster dan willekeurige of instructie-geleide steekproeven.
  • LDS: Extreme waarden voor hyperparameters $\alpha$ (overslaan-snelheid) en $\epsilon$ (diepte-variatie) bevooroordeelden het model ten gunste van specifieke capaciteiten. De gebalanceerde configuratie ($\alpha=0.5, \epsilon=0.5$) leverde de beste afweging op.
  • Gecombineerd Kader: Het gezamenlijk gebruik van VTC en LDS bood een superieure afweging tussen efficiëntie en prestaties in vergelijking met het gebruik van een van beide componenten in isolatie.

Betekenis en Claims

De paper claimt dat STS een praktische en schaalbare oplossing biedt voor efficiënte optimalisatie van MLLM's. Door de focus te verschuiven van statische reductie van redundantie naar een stage-aware aanpak, adresseert het kader de specifieke knelpunten van verschillende trainingsfasen zonder complexe architecturale wijzigingen. De auteurs benadrukken dat STS breed toepasbaar is op diverse MLLM-architecturen en snellere training bereikt met minimale prestatieverlies, waardoor het een levensvatbare strategie is om de rekenkundige barrières bij het trainen van grootschalige multimodale modellen te verlagen.