Technische Samenvatting: ST-Veto voor Diffusie MLLM's

Probleemstelling

Vision Language Models (VLMs) hebben sterke redeneercapaciteiten getoond door middel van Chain-of-Thought (CoT) prompting, maar ze vertrouwen op Auto-Regressieve (AR) generatie. Deze sequentiële aanpak brengt een hoge latentie met zich mee, lijdt onder foutaccumulatie en mist robuuste mechanismen voor zelfcorrectie omdat modellen hun eigen potentieel foutieve outputs als input consumeren.

Diffusion Multimodal Large Language Models (dMLLMs) bieden een alternatief door tokens te genereren via een orde-agnostisch, iteratief denoising-proces. Dit paradigma maakt bidirectionele contextmodellering en potentiële zelfcorrectie mogelijk. Echter, dMLLMs bevinden zich momenteel nog in een beginfase wat betreft redeneren. Bestaand onderzoek heeft zich grotendeels gericht op korte generatielengtes, waardoor de capaciteit van dMLLMs om niet-triviale, langdurige redeneringen vol te houden onduidelijk blijft. Bovendien vertalen standaard CoT-promptingstrategieën die ontworpen zijn voor AR-modellen niet effectief naar diffusie-decoding. AR-methoden gaan uit van een stabiele, sequentiële historie waarbij tussenliggende rationales de daaropvolgende tokens conditioneren; in contrast hiermee updaten dMLLMs alle tokenposities parallel. Bijgevolg kan een token dat op een enkel stadium als "vertrouwd" wordt beschouwd, instabiel of zwak gegrond zijn wanneer het over het volledige denoising-traject wordt bekeken, wat leidt tot onbetrouwbare redeneerpaden.

Methodologie: ST-Veto

De auteurs stellen ST-Veto (Spatio-Temporal Token Veto) voor, een training-vrije methode voor tijdens de decoding, ontworpen om het redeneren in dMLLM's te verbeteren door gebruik te maken van het unieke vermogen van diffusiemodellen om alle tokenposities over tijdstappen heen te observeren. ST-Veto werkt via een "Veto-and-Swap"-beleid dat onbetrouwbare tokens filtert voordat ze aan het generatietraject worden toegevoegd.

De methode vertrouwt op twee primaire signalen om tokens te identificeren die geveto'd moeten worden:

1. Temporele Instabiliteit (Taylor Voorspelling):
   In tegen tegenover AR-modellen bieden dMLLM's zichtbaarheid in de evolutie van betrouwbaarheidsscores voor alle gemaskeerde posities over de tijd. ST-Veto houdt de betrouwbaarheidsscore $c(t)$ van een token over diffusiestappen heen bij. Het maakt gebruik van een tweede-orde Taylor-expansie met behulp van een lokale 4-staps historie ($c(t-3)$ tot $c(t)$) om de verwachte betrouwbaarheid bij de volgende stap ($\hat{c}(t)$) te voorspellen.

   • De Taylor-residue ($e_i = c(t)_i - \hat{c}(t)_i$) meet de afwijking van het verwachte traject.
   • Tokens met grote negatieve residuen (waar de betrouwbaarheid significant lager uitvalt dan verwacht) worden gemarkeerd als temporeel instabiel en geveto'd.

2. Visuele Gronding (Image Attention Mass):
   Een token kan tekstueel plausibel zijn, maar semantisch losgekoppeld van de visuele input. ST-Veto meet visuele gronding door de image attention mass te aggregeren die aan beeld-tokens wordt toegewezen over specifieke tussenliggende Transformer-lagen ($L/3, L/2, 2L/3$).

   • De image attention ratio ($\rho_i$) berekent het aandeel aan aandacht dat een token richt naar beeld-tokens.
   • Tokens met lage gemiddelde attention ratios over deze lagen worden gemarkeerd als zwak gegrond en geveto'd.

Veto-and-Swap Beleid:
ST-Veto verwerpt tokens niet simpelweg; het vervangt ze.

• Veto Criteria: Een token wordt geveto'd als de temporele residue of de visuele grondingsscore negatief afwijkt van de populatieverdeling (gedefinieerd door robuuste statistieken: mediaan en Median Absolute Deviation).
• Swap Kandidaten: Veto'de tokens worden vervangen door "veilige" kandidaten. Deze kandidaten moeten striktere criteria voldoen (hoge temporele stabiliteit en hoge visuele gronding) en moeten zich binnen een "kandidatenlijn" bevinden nabij de betrouwbaarheidsdrempel van de oorspronkelijke top-$k$ selectie om de introductie van ruis met lage betrouwbaarheid te voorkomen.
• Executie: Als er voldoende veilige kandidaten bestaan, vervangt het model de veto'de tokens; anders gaat het verder met gedeeltelijke swaps of behoudt het de oorspronkelijke selectie als er geen beter alternatief beschikbaar is.

Belangrijkste Bijdragen

1. Systematische Evaluatie van dMLLM Redeneren: De auteurs tonen aan dat redeneermethoden ontworpen voor autoregressieve VLMs (bijv. DDCoT, CCoT) niet effectief overdragen naar diffusie-decoding vanwege het fundamentele mismatch tussen sequentiële conditionering en parallelle iteratieve verfijning.
2. ST-Veto Framework: De voorstel van een nieuwe, training-vrije decodingstrategie die de dynamiek van betrouwbaarheidsevolutie (via Taylor-voorspelling) combineert met visuele grondingssignalen om de tokenselectie te sturen.
3. Prestatiewinst: De methode bereikt consistente verbeteringen over meerdere modellen en benchmarks zonder extra training of verhoogde generatiekosten.

Experimentele Resultaten

De methode werd geëvalueerd op twee state-of-the-art dMLLM's (LaViDa-Reason en MMaDA-MixCoT) over vier benchmarks: M3CoT, ScienceQA, MMBench en V*Bench.

• Nauwkeurigheidsverbeteringen: ST-Veto presteerde consequent beter dan standaard decoding-policies (Base-Confidence, Base-Margin, Base-Entropy) en eerdere VLM-redeneermethoden aangepast voor diffusie.
  • Verbeteringen bereikten tot wel 9% in nauwkeurigheid.
  • Bijvoorbeeld, op LaViDa met een generatielengte van 256 tokens, verbeterde ST-Veto de M3CoT-scores van 29,55 (Base) naar 31,87, en MMBench van 31,55 naar 38,25.
• Efficiëntie: Zoals getoond in Tabel 2, introduceert ST-Veto verwaarloosbare computationele overhead vergeleken met het basismodel. In contrast hiermee vereist het aanpassen van AR-gebaseerde methoden aan diffusie vaak het verdubbelen van de generatiekosten (twee inference-passes) om sequentiële redenering te emuleren, terwijl ST-Veto opereert binnen een enkel diffusie-inferenceproces.
• Ablatie-studies:
  • Het verwijderen van ofwel de Taylor Veto of de Image Attention Veto resulteerde in lagere prestaties, wat bevestigt dat zowel temporele stabiliteit als visuele gronding noodzakelijk zijn.
  • De tweede-orde Taylor-voorspelling (gebruikmakend van 4 stappen historie) bood de beste balans tussen prestaties en complexiteit.
  • Het middelen van attention-signalen over meerdere tussenliggende lagen was robuuster dan het gebruiken van een enkele laag.

Betekenis en Claims

Het artikel claimt dat ST-Veto een fundament legt voor diffusie-native redeneren. Door gebruik te maken van de globale zichtbaarheid van de evolutie van tokens die inherent is aan diffusiemodellen, stuurt ST-Veto de generatie naar paden die zowel temporeel stabiel als visueel gegrond zijn.

De auteurs benadrukken dat hun aanpak bescheiden in omvang is:

• Het is een training-vrije interventie tijdens de inference, die geen parameter-updates vereist.
• Het elimineert niet alle risico's van multimodale generatieve systemen (zoals bias of hallucinatie), maar verbetert de betrouwbaarheid van de tokenselectie.
• De methode adresseert een specifieke structurele kloof: het onvermogen van huidige dMLLM's om coherente redeneringen te handhaven onder langdurige generatie-instellingen vanwege de instabiliteit van parallelle decoding.

Het werk suggereert dat toekomstige verbeteringen in dMLLM-redeneren zich moeten richten op mechanismen die specifiek zijn afgestemd op het diffusieproces (zoals het monitoren van betrouwbaarheidsdynamiek en visuele verankering), in plaats van te proberen sequentiële afhankelijkheden op te leggen aan een niet-sequentiële paradigma.