⚡ electrical engineering

PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs

Dit artikel introduceert PAL, een hybride framework dat een compacte PLITS-projectie combineert met een lichtgewicht LAL-injectiemechanisme om efficiënt rijke audio-semantiek naar LLM's over te dragen, waarbij superieure prestaties en een significant verminderde computationele overhead worden bereikt in vergelijking met bestaande integratieparadigma's.

Oorspronkelijke auteurs: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, praatgrage robot hebt (een Large Language Model, of LLM) die een expert is in het lezen en schrijven van tekst, maar nog nooit een geluid heeft gehoord. Je wilt de robot leren om audio te begrijpen — zoals een hond die blaft, een liedje dat speelt of iemand die spreekt.

Het probleem is: Hoe voer je geluid in een tekst-georiënteerd brein zonder het kapot te maken of extreem traag te maken?

Dit paper introduceert een nieuwe manier om audio met deze tekst-robots te verbinden, genaamd PAL (Probing Audio encoders via LLMs). Hier is de uitsplitsing met eenvoudige analogieën.

De oude manier: Het "Zware Pak" (PLITS)

Momenteel gebruiken de meeste onderzoekers een methode die de auteurs PLITS noemen.

De Analogie: Stel je voor dat je een foto aan een schrijver wilt laten zien. In de oude methode neem je de foto, verander je elke individuele pixel in een klein woordje, en plak je al die woorden vóór het verhaal van de schrijver.
Het Probleem: Als de foto een hoge resolutie heeft (zoals een lange audiofragment), eindig je met het plakken van duizenden extra woorden. De schrijver moet al die extra woorden lezen voordat hij één nieuwe zin kan schrijven. Dit maakt het proces erg traag en vereist een enorme hoeveelheid geheugen (alsof je overal een zwaar harnas met je mee moet dragen).

Het Nieuwe Idee: Het "Fluisteren" (LAL)

De auteurs stellen een lichtere methode voor genaamd LAL (Lightweight Audio LLM Integration).

De Analogie: In plaats van duizenden woorden te plakken, stel je je voor dat je een "geluidsfluisteraar" hebt. Deze fluisteraar dwingt de schrijver niet om nieuwe woorden te lezen. In plaats daarvan tikt de fluisteraar de schrijver op de schouder en fluistert de context van het geluid direct in het oor van de schrijver terwijl deze aan het nadenken is.
Hoe het werkt: De audio-informatie wordt alleen geïnjecteerd in het deel van het brein dat beslist "waar aandacht aan besteed moet worden" (het aandachtmechanisme). Het slaat het deel van het brein dat het zware werk doet (het feed-forward netwerk) over.
Het Resultaat: De schrijver kan het geluid nog steeds perfect begrijpen, maar hoeft het zware "harnas" niet te dragen.
- Snelheid: Het is ongeveer 190% sneller tijdens het trainen.
- Geheugen: Het gebruikt ongeveer 60% minder geheugen.
- Prestaties: Het werkt even goed als de oude, zware methode.

Het Beste van Beide Werelden: De "Hybride" (PAL)

De auteurs realiseerden zich dat hoewel de "fluisteraar" (LAL) snel is, je soms een samenvatting van het hele geluid nodig hebt om het grote plaatje te zien. Daarom creëerden ze PAL, een hybride aanpak.

De Analogie: Stel je een team van twee assistenten voor die de schrijver helpen:
1. De Samenvatter (PLITS): Neemt het lange audiofragment, destilleert het tot een korte samenvatting van 3 zinnen, en plakt die aan het begin. Dit geeft de schrijver het "grote plaatje".
2. De Detail-Fluisteraar (LAL): Neemt de volledige, gedetailleerde audio en fluistert de fijnmazige details (zoals de specifieke toonhoogte van een stem of een specifiek geluidseffect) direct in het oor van de schrijver tijdens het eerste deel van het denkproces.
Waarom het werkt: De "fluisteraar" handelt de vroege, gedetailleerde verwerking af (zoals het herkennen van een specif kind geluid), terwijl de "samenvatting" helpt bij het latere, hoogwaardige redeneren (zoals het begrijpen van het verhaal).
De Uitkomst: PAL is sneller en gebruikt minder geheugen dan de oude zware methode, maar het presteert eigenlijk beter dan zowel de oude methode als de alleen-fluister-methode.

Belangrijkste conclusies uit het paper

Efficiëntie: Door te veranderen hoe de audio in het brein van de robot komt (alleen via de "aandachtstaps", niet via de zware "denkblokken"), bespaarden ze enorme hoeveelheden rekenkracht.
Geen "Bevriezing" Nodig: Zelfs als ze de hoofdkenbank van de robot vergrendelden (zodat deze geen nieuwe feiten kon leren), werkte deze nieuwe audio-methode nog steeds perfect. Dit betekent dat je audio kunt toevoegen aan bestaande robots zonder hun hele brein opnieuw te trainen.
Veelzijdigheid: Ze testten dit op het begrijpen van spraak, muziek en algemene geluiden (zoals een autohorn of een hond die blaft), en het werkte goed voor alle categorieën.

Kortom: Het paper zegt: "Dwing de robot niet om een woordenboek van geluidswoorden te lezen. Fluister gewoon de betekenis van het geluid in zijn oor terwijl hij nadenkt, en geef hem een snelle samenvatting aan het begin. Het is sneller, goedkoper en slimmer."

Technische Samenvatting: PAL: Probing Audio Encoders via LLMs

1. Probleemstelling

De integratie van audio-perceptie in Large Language Models (LLMs) is een cruciale stap naar het mogelijk maken van toepassingen voor machine-luisteren. De efficiënte overdracht van rijke audio-semantiek van audio-encoders naar LLMs blijft echter onderbelicht.

Huidige state-of-the-art (SOTA) integratieparadigma's, in dit artikel aangeduid als Prepend to the LLM's input token space (PLITS), projecteren de output van audio-encoders doorgaans in de LLM-inputruimte (via MLP's of Q-Formers) en voegen deze audio-tokens toe aan de teksttokensequentie. De gehele geconcateneerde sequentie plant zich vervolgens voort door alle LLM-lagen. Hoewel effectief, brengt deze aanpak aanzienlijke computationele overhead met zich mee omdat audio-tokens (die vaak veel meer zijn dan teksttokens, $N_a \gg N_t$ ) bij elke laag volledige causale zelf-attentie en feed-forward netwerk (FFN) verwerking ondergaan. Dit resulteert in een kwadratische aandachtcomplexiteit van $O((N_a + N_t)^2)$ en hoog geheugengebruik, wat de schaalbaarheid en de doorvoersnelheid bij inferentie beperkt.

Alternatieve architecturen, zoals Flamingo-stijl modellen, voegen cross-attentie en FFN-blokken in tussen de LLM-lagen. Hoewel dit de aandachtsefficiëntie verbetert ten opzichte van eenvoudige concatenatie, verhoogt het de sequentiële diepte en de per-laag berekening, wat de forward pass potentieel kan vertragen.

2. Methodologie

Het paper stelt twee nieuwe integratiestrategieën voor: LAL (Lightweight Audio LLM Integration) en PAL (Probing Audio encoders via LLMs).

2.1. LAL: Lightweight Audio LLM Integration

LAL is een kernarchitecturale modificatie ontworpen om audio-representaties uitsluitend via het aandachtmechanisme te injecteren, waarbij de feed-forward modules voor audio-tokens worden overgeslagen.

Mechanisme: In een standaard LLM-laag worden de tekst verborgen toestanden $H^t_l$ $H_{l}^{t}$ en geprojecteerde audio-features $\hat{A}_l$ $\hat{A}_{l}$ geconcateneerd om $S_l$ $S_{l}$ te vormen.
- Queries ( $Q$ ): Worden alleen berekend vanuit teksttokens ( $H^t_l$ ).
- Keys ( $K$ ) en Values ( $V$ ): Worden berekend vanuit de geconcateneerde sequentie $S_l$ (bevat zowel tekst- als audio-tokens).
Informatiestroom: Audio-tokens moduleren de aandachtcontext van teksttokens, maar gaan niet door de FFN-sublaag. Dit stelt teksttokens in staat om informatie uit audio te verzamelen zonder dat de audio-tokens een niet-lineaire transformatie in de FFN ondergaan.
Complexiteitsreductie: Door queries te beperken tot enkel teksttokens, wordt de aandachtcomplexiteit gereduceerd van $O((N_a + N_t)^2)$ naar $O((N_a + N_t)N_t)$ . Omdat $N_a \gg N_t$ , elimineert dit de $N_a^2$ term, wat substantiële efficiëntiewinst oplevert.
Positionele Codering: Om de temporele ordening te behouden, beheert LAL expliciet de positionele ID's, waarbij een gat in de sequentie wordt vrijgehouden voor audio-tokens om ervoor te zorgen dat de Rotary Positional Embeddings (RoPE) correct functioneren ten opzichte van de tekst.

2.2. PAL: Hybrid Integration

In het besef dat verschillende lagen van een LLM kunnen profiteren van verschillende integratiestijlen, stelt de auteur PAL voor, een hybride benadering die PLITS en LAL combineert.

Architectuur:
1. PLITS Pathway (Samenvatting): Een compacte set samenvattende tokens wordt afgeleid uit de volledige audio-sequentie (via 1D-convolutie met een stride $r$ ). Deze samenvattende tokens worden verwerkt via de standaard PLITS-methode (vooraf toegevoegd aan de tekst en door alle lagen geleid).
2. LAL Pathway (Volledige resolutie): De audio-tokensequentie met volledige resolutie wordt via LAL in de aandachtblokken geïnjecteerd.
Laaltoewijzing: Empirische analyse suggereert dat audio-details met volledige resolutie het meest kritiek zijn in de vroege lagen, terwijl semantische alignment met tekst op een hoger niveau belangrijker is in latere lagen. Daarom beperkt PAL de LAL-injectie tot het eerste derde deel van de LLM-lagen. Voorbij dit punt vertroukt het model uitsluitend op de PLITS-samenvattende tokens.
Tokenvolgorde: In het aandachtmechanisme worden de Keys en Values zo geïnterleaved dat een samenvattende token ( $p_j$ ) een overeenkomstige blok volledige-resolutie tokens ( $\ell_i$ ) volgt, waardoor de uitlijning tussen de samenvatting en de onderliggende fijnmazige context behouden blijft.

3. Belangrijkste Bijdragen

LAL Integratie: Introductie van een lichtgewicht strategie die audio-tokens uitsluitend als keys en values incorporeert in de LLM-aandachtssubmodules, waarbij de FFN-verwerking wordt overgeslagen. Dit vermindert de reken- en geheugenkosten terwijl de prestaties vergelijkbaar blijven met PLITS.
PAL Hybride Architectuur: Voorstel van een hybride methode die PLITS toepast op compacte samenvattende tokens en LAL op de audio-sequentie met volledige resolutie. Deze aanpak presteert aanzienlijk beter dan PLITS, terwijl een hoge computationele en geheugenefficiëntie behouden blijft.
Strikte Empirische Validatie: Uitgevoerd met eerlijke vergelijkingen onder een gestandaardiseerde trainingscurriculum en datasetopstelling over meerdere base-LLM's (Llama-3.2-1B/3B, Qwen2.5-1.5B) en diverse taken (classificatie, beschrijving, redeneren, spraak, muziek en geluidverstaan).

4. Experimentele Resultaten

De experimenten tonen aan dat LAL en PAL superieure efficiëntie-prestatie-afwegingen bieden vergeleken met bestaande baselines (PLITS en Flamingo-stijl).

Efficiëntiewinst:
- Geheugengebruik: LAL vermindert het trainingsgeheugengebruik met ongeveer 60% en het inferentiegeheugen met 83% vergeleken met PLITS.
- Doorvoersnelheid: De trainingsdoorvoersnelheid neemt met ongeveer 190% toe, en de inferentiesnelheid verbetert met een factor 1.2x tot 1.5x.
- Schaalbaarheid: Het efficiëntieverschil wordt groter bij langere audio-sequenties vanwege de lineaire schaling van LAL ten opzichte van het aantal audio-tokens ( $N_a$ ).
Prestaties:
- Algemeen Audio-begrip: LAL evenaart of overtreft PLITS over classificatie (ESC-50, DCASE, VocalSound), beschrijving (AudioCaps, Clotho) en redenering (CompA-R) taken. Zo behaalde LAL op de Llama-3.2-3B backbone een nauwkeurigheid van 89,25% op ESC-50 vergeleken met 84,60% voor PLITS.
- Verenigd Audio-Spraak-Muziek Begrip: In de verenigde setting (MMAU, MMAR, MMSU benchmarks) behaalde het hybride PAL-model de beste prestaties.
  - MMAU: PAL-3B behaalde 70,20% (test-mini) en 68,20% (test), waarmee het PLITS-3B (64,30% / 62,91%) versloeg.
  - MMAR: PAL-3B bereikte 45,40% nauwkeurigheid, waarmee het PLITS-3B (41,10%) overtrof.
  - MMSU: PAL-3B behaalde een algehele nauwkeurigheid van 46,18%, vergeleken met 40,12% voor PLITS-3B.
- Ablatie-studies: Het maskeren van ofwel de LAL- of de PLITS-pathway in de PAL-All variant resulteerde in prestatiedalingen, wat bevestigt dat de twee pathways complementaire informatie bieden (LAL voor fijnmazige akoestische context, PLITS voor hoogwaardige semantische alignment).
Frozen FFN: Het paper merkt op dat LAL effectief blijft zelfs wanneer de FFN-blokken van de LLM bevroren zijn, wat suggereert dat audio-informatie via aandacht geïntegreerd kan worden zonder de kernparametrische kennis opgeslagen in de FFN's te wijzigen.

5. Betekenis en Claims

Het paper beweert dat LAL en PAL een verschuiving vertegenwoordigen van parameter-efficiënte fine-tuning (PEFT) methoden (zoals LoRA) naar kernarchitecturale modificaties die fundamenteel veranderen hoe audio-tokens deelnemen aan de forward pass van de transformer.

Schaalbaarheid: Door de kwadratische afhankelijkheid van het aantal audio-tokens te verminderen, maken deze methoden het trainen en implementeren van audio-LLM's met langere contextvensters en hogere resoluties mogelijk zonder prohibitieve computationele kosten.
Efficiëntie vs. Prestatie: De auteurs demonstreren dat het mogelijk is om state-of-the-art prestaties te behalen in audio-begrip terwijl het geheugengebruik drastisch wordt verminderd en de doorvoersnelheid wordt verhoogd.
Ontwerpinsicht: Het werk biedt bruikbare inzichten in het ontwerp van schaalbare audio-LLM's, waarbij specifiek wordt benadrukt dat vroege lagen profiteren van injectie van volledige resolutie audio (LAL), terwijl latere lagen profiteren van compacte, taal-gealigneerde samenvattingen (PLITS).

De auteurs concluderen dat deze efficiëntiewinsten de toegang tot audio-begriptechnologieën kunnen verbreden, hoewel zij benadrukken dat er verantwoordelijke inzet nodig is met betrekking tot privacy, bias en toepassingen met hoge inzet.