Technische Samenvatting: Gronden of Gissen? Visuele Signalen voor het Detecteren van Hallucinaties in Gebarentaalvertaling

1. Probleemstelling

Gebarentaalvertaling (Sign Language Translation, SLT) is een unieke video-naar-tekst taak waarbij de visuele modaliteit zelf de brontaal vormt, in plaats van een aanvullende context. Een kritieke foutmodus in moderne SLT-systemen, met name die gebruikmaken van gloss-vrije architecturen en Large Language Model (LLM) backbones, is hallucinatie. In deze context wordt hallucinatie gedefinieerd als het genereren van inhoudstokens die niet worden ondersteund door het visuele bewijs uit de gebarenvideo.

Hoewel recente gloss-vrije modellen de schaalbaarheidsvraagstukken hebben opgelost door de noodzaak van kostbare tussenliggende gloss-annotaties weg te nemen, introduceren ze een nieuwe kwetsbaarheid: de decoder heeft de neiging om zwaar te vertrouwen op taalprioriteiten (language priors) in plaats op de visuele input wanneer de visuele representaties ambigu of van lage kwaliteit zijn. Dit resulteert in vloeiende maar feitelijk onjuiste vertalingen. Bestaande methoden voor het detecteren van hallucinaties, die vertrouwen op tekstintrinsieke signalen (bijv. betrouwbaarheid, entropie, perplexiteit), slagen er niet in om onderscheid te maken tussen een token dat met vertrouwen wordt voorspeld op basis van linguïstische patronen versus een token dat met vertrouwen wordt voorspeld op basis van daadwerkelijk visueel bewijs.

2. Methodologie

De auteurs stellen een nieuw betrouwbaarheidsmaat voor op basis van grounding usage (het gebruik van gronding), die kwantificeert in welke mate gegenereerde tokens vertrouwen op visueel bewijs versus taalprioriteiten. De methode werkt op tokenniveau en aggregeert naar zinsniveau middels contrafactische analyse.

2.1 Kernintuïtie

Bij elke decoderingsstap grondt een model de volgende token of gokt het deze op basis van taalprioriteiten. De voorgestelde methode meet deze afhankelijkheid door het gedrag van het model te vergelijken onder de ware video-input tegenover contrafactische scenario's waarin de visuele input wordt gewijzigd.

2.2 Signaalcomponenten

De betrouwbaarheidsscore wordt afgeleid van twee klassen bewijs:

1. Feature-gebaseerde Sensitiviteit (Interne Afhankelijkheid):

   • Hidden State Sensitiviteit: Meet de directionele verandering (genormaliseerde hoekafstand) in de decoder hidden states wanneer de video-input wordt verwijderd (gemaskeerd) versus wanneer deze aanwezig is. Een grotere hoek duidt op een sterkere afhankelijkheid van de video.
   • Cross-Attention Gebruik: Aggregeert de aandachtsmassa die vanuit decoder tokens naar video encoder posities wordt gericht. Het verschil tussen de aandacht onder een schone video en gemaskeerde video geeft de mate van visuele gronding aan.

2. Contrafactische Signalen (Extern Bewijs):

   • Het systeem voert drie parallelle decoderingspasses uit, geconditioneerd op hetzelfde prefix:
     1. Clean (Schoon): Met de ware video ($x$).
     2. No-Video (Geen Video): Met de visuele encoder uitgeschakeld ($\emptyset$).
     3. Mismatched (Verkeerd): Met een geschudde of ongerelateerde video ($x'$).
   • Probabiliteitsmarges: De methode berekent de log-waarschijnlijkheid en de verschillen in logits tussen de schone pass en de sterkste contrafactische pass (de maximale waarschijnlijkheid van de no-video of mismatched video passes).
   • Voordelen: Berekent absolute waarschijnlijkheidswinsten ($\Delta_{clean}$ en $\Delta_{mis}$) om te bepalen of de juiste video de voorspelling actief verbetert ten opzichte van alternatieven.

2.3 Fusie en Aggregatie

• Token-niveau: Een lineaire fusie van feature-gebaseerde signalen en contrafactische signalen, door een sigmoid activatie geleid, levert een token-niveau betrouwbaarheidsscore op ($r_t$).
• Zinsniveau: Token scores worden geaggregeerd met behulp van tail-10 pooling (het middelen van de laagste 10% van de token betrouwbaarheden). Dit focust op de minst betrouwbare delen van de zin, die het meest indicatief zijn voor het risico op hallucinatie.
• Integratie: De op gronding gebaseerde betrouwbaarheid wordt gecombineerd met standaard tekst-only baselines (confidence, perplexity, entropy) in een "META" variant om een uitgebreide schatter van het hallucinatie-risico te creëren.

3. Belangrijkste Bijdragen

• Eerste Onderzoek naar SLT-Hallucinaties: Dit werk is het eerste dat expliciet onderzoek doet naar en hallucinaties karakteriseert binnen het specifieke domein van Gebarentaalvertaling.
• Grounding Usage Metriek: Introductie van een nieuwe betrouwbaarheidsmaat die visuele gronding kwantificeert, waarbij onderscheid wordt gemaakt tussen tokens die gegenereerd zijn via visueel bewijs en tokens die gegokt zijn via taalprioriteiten.
• Contrafactisch Framework: Ontwerp van een scoringsframework met behulp van contrafactische perturbaties (maskeren en mismatchen van video) om zowel interne modeltoestandsveranderingen als externe waarschijnlijkheidsverschuivingen te vangen.
• Empirische Validatie: Demonstratie dat op gronding gebaseerde signalen text-only baselines (confidence, perplexity, entropy) overtreffen bij het detecteren van hallucinaties en complementaire informatie bieden wanneer ze worden gecombineerd met linguïstische onzekerheidsmaten.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee benchmarks: PHOENIX-2014T (Duitse gebarentaal) en CSL-Daily (Chinese gebarentaal), gebruikmakend van zowel gloss-gebaseerde (TwoStream-SLT) als gloss-vrije (SpaMo) modellen.

• Correlatie met Hallucinatie: Er is een sterke negatieve correlatie tussen de voorgestelde betrouwbaarheidsscore en de CHAIR (Caption Hallucination Assessment with Image Relevance) metriek. Naarmate de grounding usage toeneemt, neemt het hallucinatiepercentage af.
• Detectieprestaties: De op gronding gebaseerde betrouwbaarheid presteert significant beter dan text-only baselines (confidence, perplexity, entropy) in binaire hallucinatie-detectie.
  • Op CSL-Daily (Gloss-Free) bereikte de grounding methode een AUC van 0,951 en een Accuraatheid van 0,970, vergeleken met ~0,953 AUC en 0,868 Accuraatheid voor de beste text-only baseline (Confidence).
  • De gecombineerde META variant behaalde de hoogste prestaties, met een AUC van 0,963 en een Accuraatheid van 0,883 op CSL-Daily (Gloss-Free).
• Regressieprestaties: De betrouwbaarheidsscore voorspelt effectief de continue CHAIR-rate, waarbij een Spearman correlatie van $\rho = -0,680$ wordt bereikt op CSL-Daily (Gloss-Free).
• Generalisatie: De op grounding gebaseerde gewichten getraind op één dataset/modelfamilie transfereren robuust naar andere, hoewel de prestaties licht dalen bij transfer van gloss-gebaseerde naar gloss-vrije modellen vanwege verschillen in de granulariteit van de tokenisatie en de prevalentie van hallucinaties.
• Stress-testen: Onder visuele degradaties (Gaussiaanse ruis, frame dropping) neemt de betrouwbaarheidsscore af, wat de gevoeligheid voor de kwaliteit van visuele informatie bevestigt.
• Gloss-Free vs. Gloss-Based: Analyse laat zien dat gloss-vrije modellen vaker hallucineren omdat ze systematisch de visuele informatie onderbenut en terugvallen op linguïstische prioriteiten. Token-level distributies tonen aan dat gloss-vrije modellen lagere log-marges en kleinere hidden-state sensitiviteitshoeken hebben vergeleken met gloss-gebaseerde modellen.

5. Betekenis en Claims

Het artikel stelt dat hallucinatie-detectie in multimodale generatie niet volledig verklaard kan worden door louter tekstintrinsieke signalen alleen. In SLT, waar de visuele input de brontaal is, is het onderscheid tussen "gokken" (vertrouwen op taalprioriteiten) en "gronden" (vertrouwen op visueel bewijs) cruciaal.

De auteurs stellen vast dat:

1. Betrouwbaarheid is een Praktisch Instrument: De voorgestelde maatstaf biedt een herbruikbare, interpreteerbare tool voor het diagnosticeren van hallucinaties in SLT zonder dat referentievertalingen nodig zijn.
2. Complementariteit: Visuele grondingssignalen bieden complementaire informatie aan tekstgebaseerde onzekerheidsmaten. Het combineren hiervan levert het meest robuuste detectiekader op.
3. Oorzaak van Gloss-Free Fouten: De systematische overmatige afhankelijkheid van taalprioriteiten in gloss-vrije modellen is de primaire drijfveer van hun hogere hallucinatiepercentages. Het gebrek aan tussenliggende gloss-supervisie staat de decoder toe om af te dwalen van het visuele bewijs.
4. Fundamenteel Werk: Dit onderzoek legt de basis voor robuustere hallucinatie-detectie in multimodale generatie door de bijdrage van visuele gronding expliciet te ontkoppelen van linguïstische vloeiendheid.

Het artikel concludeert dat een robuust multimodaal model een balans moet vinden tussen gokken (voor vloeiendheid) en gronden (voor feitelijke juistheid), en dat het expliciet meten van deze balans essentieel is voor betrouwbare SLT-systemen.