Technische Samenvatting: Eerst Separeren, Later Fuseren (SFFL)

1. Probleemstelling

Huidige Audio-Visuele Grote Taalmodellen (AVLM's) lijden vaak aan kruismodale interferentie, waarbij informatie uit de ene modus (bijvoorbeeld visueel) de interpretatie van een andere modus (bijvoorbeeld auditief) onjuist beïnvloedt, wat leidt tot hallucinaties. Een model kan bijvoorbeeld een geluid toeschrijven aan een dier dat zichtbaar is in de video, zelfs als het audiomateriaal geen bewijs bevat van dat geluid. De auteurs schrijven dit toe aan twee primaire factoren:

1. Ongecontroleerde Gezamenlijke Redenering: De meeste bestaande AVLM's voegen audio- en visuele tokens samen in één enkele stroom, waardoor irrelevante signalen uit de ene modus kunnen interfereren met het redeneerproces van de andere.
2. Modus-Bias: Huidige modellen vertonen een visueel-dominante bias, waarbij ze vaak zwaar vertrouwen op visuele aanwijzingen terwijl auditief bewijs onvoldoende wordt benut of verkeerd wordt geïnterpreteerd.

2. Methodologie: Eerst Separeren, Later Fuseren (SFFL)

De auteurs stellen SFFL voor, een gestructureerd redeneerkader dat is ontworpen om modusspecifieke verwerking te isoleren voordat bewijs wordt geïntegreerd. Het kader bestaat uit drie kerncomponenten:

A. Preferred Evidence Modality (PEM) Data-pijplijn

Om het model te trainen in het identificeren van welke modus het doorslaggevende bewijs levert voor een specifieke vraag, hebben de auteurs de AVQA-PEM-14K-dataset samengesteld.

• Proces: Voor elke AVQA-instantie genereren ze Chain-of-Thought (CoT)-antwoorden onder drie invoerinstellingen: Alleen Audio (A), Alleen Video (V) en Audio-Visueel (AV).
• Labeling: Op basis van consistentie en correctheidspercentages over deze instellingen worden instanties gelabeld als:
  • PEM = Audio: Oplosbaar met A en AV, maar niet met V.
  • PEM = Visueel: Oplosbaar met V en AV, maar niet met A.
  • PEM = Audio-Visueel: Alleen oplosbaar met AV (vereist beide).
• Gebruik: Deze labels dienen als een auxiliair signaal om instantie-afhankelijke modusvoorkeuren te stimuleren.

B. Gestructureerde Redenering met Modus-Asymmetrische Aandachtmaskering (MAAM)

SFFL dwingt een "Eerst Separeren, Dan Fuseren"-redeneerparadigma af met behulp van specifieke controletags (<mod>, <v>, <a>, <sum>, <ans>) om de output te structureren.

• Separatie: Het model genereert afzonderlijke redeneersporen voor visuele (<v>) en audio- (<a>) invoer onafhankelijk van elkaar.
• Fusie: Bewijs wordt pas geïntegreerd in de <sum>-fase, voordat het definitieve antwoord wordt gegeven.
• MAAM: Om informatielekken tijdens de gescheiden redeneringsfasen te voorkomen (waar standaard causale aandacht zou kunnen toestaan dat een token aandacht besteedt aan de invoer van de verkeerde modus), introduceren de auteurs een Modus-Asymmetrische Aandachtmaskering. Dit masker blokkeert expliciet:
  • Visuele redeneertokens van het besteden van aandacht aan audiotokens.
  • Auditieve redeneertokens van het besteden van aandacht aan videotokens of het visuele redeneerbereik.

C. Twee-fase Versterkingsleer (GRPO)

Het model wordt getraind met Group Relative Policy Optimization (GRPO) met twee distincte fasen en beloningsfuncties:

1. Fase 1 (Structuur & Voorkeur): Optimaliseert voor de Modusvoorkeur & Structuur Beloning ($R_{mps}$). Het model wordt beloond voor het correct identificeren van de PEM en het naleven van de gescheiden redeneerstructuur.
2. Fase 2 (Nauwkeurigheid & Structuur): Optimaliseert voor een gewogen som van de Antwoordnauwkeurigheid Beloning ($R_{acc}$) en de structuurbeloning. Deze fase verfijnt het vermogen van het model om correcte antwoorden te produceren terwijl de geïsoleerde redeneerstructuur wordt gehandhaafd.

3. Belangrijkste Bijdragen

1. SFFL-kader: Een nieuw redeneerparadigma dat modusisolatie afdwingt tijdens de Chain-of-Thought-fase en fusie uitstelt tot het bewijsintegratiefase, waardoor voortijdige kruismodale interferentie wordt voorkomen.
2. PEM Data-pijplijn: Een methode om automatisch trainingsdata te construeren met "Preferred Evidence Modality"-labels, waardoor het model kan leren afhankelijk te zijn van specifieke modaliteiten per instantie.
3. Modus-Asymmetrische Aandachtmaskering (MAAM): Een mechanisme om modusisolatie strikt af te dwingen tijdens de token-generatie, waardoor de structurele verstrengeling van audio-visuele informatie in standaard aandachtsmechanismen wordt aangepakt.
4. Twee-fase GRPO-training: Een trainingsstrategie die eerst de bewijsvoorkeur en redeneerstructuur van het model aligneert, en vervolgens optimaliseert voor antwoordnauwkeurigheid, waardoor robuustheid en prestaties in evenwicht worden gebracht.

4. Experimentele Resultaten

De auteurs hebben SFFL geëvalueerd op AVHBench (kruismodale hallucinaties) en drie algemene AVQA-benchmarks (AVQA, Valor32k-AVQA v2.0, MUSIC-AVQA).

• Mitigatie van Hallucinaties: Op de AVHBench-benchmark voor kruismodale hallucinaties behaalde SFFL een gemiddelde relatieve winst van 11,17% ten opzichte van baselines.
• Algemene Prestaties: Op algemene AVQA-benchmarks leverde SFFL een gemiddelde relatieve winst van 5,16% op.
• Specifieke Winsten: Met de Qwen3-Omni-30B-ruggengraat verbeterde SFFL de gemiddelde hallucinatiescore naar 81,29 (tegenover 73,12 zero-shot) en de gemiddelde algemene QA-score naar 80,24.
• Ablatiestudies:
  • SFR (Separate-then-Fuse Reasoning): Verbeterde voornamelijk de prestaties op taken die consistentie tussen modaliteiten vereisen (MIS), en verminderde interferentie.
  • MAAM: Leverde consistente en significante winsten op alle metrieken door kruismodale lekken effectief te onderdrukken.
  • Trainingsstrategie: De twee-fase GRPO-benadering presteerde beter dan zowel SFT- als single-reward GRPO-baselines, wat de noodzaak aantoont om modusvoorkeur te aligneren voordat wordt geoptimaliseerd voor antwoordnauwkeurigheid.

5. Betekenis en Claims

Het artikel beweert dat SFFL een effectieve oplossing biedt voor kruismodale interferentie door fundamenteel de manier waarop AVLM's informatie verwerken, te herstructureren. In plaats van te vertrouwen op heuristische beperkingen of dure post-hoc correcties, adresseert SFFL de structurele verstrengeling van audio- en visuele data bij de bron.

De auteurs benadrukken dat hun methode geen nieuwe kennis injecteert, maar eerder de latente capaciteit van bestaande ruggengraten ontgrendelt. Door het redeneerproces van het model af te stemmen op de instantie-specifieke bewijsvereisten (via PEM) en informatielekken te voorkomen (via MAAM), verbetert het kader aanzienlijk zowel de nauwkeurigheid als de robuustheid van audio-visuele redenering, met name in scenario's die vatbaar zijn voor hallucinaties.