💬 NLP

Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation

Deze studie onderzoekt hoe spraakvertaalmodellen grammaticaal geslacht toekennen aan termen die naar de spreker verwijzen, door aan te tonen dat hoewel interne taalmodellen een mannelijke bias vertonen, hoogpresterende modellen deze kunnen overstijgen door gebruik te maken van akoestische aanwijzingen en een nieuw mechanisme dat voornaamwoorden in de eerste persoon koppelt aan geslachtsgebonden termen via gedistribueerde frequentiespectruminformatie in plaats van slechts via toonhoogte.

Oorspronkelijke auteurs: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Gepubliceerd 2026-04-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lina Conti, Dennis Fucci, Marco Gaido, Matteo Negri, Guillaume Wisniewski, Luisa Bentivogli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robotvertaler voor die luistert naar mensen die Engels spreken en hun woorden direct vertaalt naar talen zoals Spaans, Frans of Italiaans. In het Engels kun je zeggen "I became a student" zonder te specificeren of de spreker een man of een vrouw is. Maar in het Spaans, Frans of Italiaans verandert het woord voor "werd" afhankelijk van het geslacht: diventato (mannelijk) of diventata (vrouwelijk).

De grote vraag die dit artikel stelt is: Wanneer de robot "I became a student" hoort, hoe beslist hij dan of hij de mannelijke of vrouwelijke versie moet gebruiken? Raadt hij op basis van stereotypen, onthoudt hij wat hij in zijn trainingsboeken zag, of luistert hij echt naar de stem van de persoon?

Hieronder volgt een uiteenzetting van wat de onderzoekers ontdekten, met behulp van enkele eenvoudige analogieën.

1. De robot kopieert niet zomaar

Een veelvoorkomende aanname is dat als een robot een fout maakt (zoals een vrouw "hij" noemen), dit komt omdat hij die fout heeft geleerd uit zijn trainingsdata. Het is als een student die gewoon de meest voorkomende antwoorden in een schoolboek heeft uit het hoofd geleerd.

De bevinding: De onderzoekers ontdekten dat de robot niet zomaar een kopieerapparaat is. Zelfs wanneer de trainingsdata meer voorbeelden bevatte van de "vrouwelijke" versie voor een specifiek woord, koos de robot vaak toch voor de "mannelijke" versie. Hij onthield geen specifieke woordparen; in plaats daarvan leerde hij een algemene vuistregel: "In deze taal zijn dingen meestal mannelijk tenzij anders aangegeven." Het is als een chef die ervan uitgaat dat elk gerecht pittig is, omdat de meeste gerechten in de keuken dat zijn, zelfs als het specifieke ingrediënt op het bord mild is.

2. De "innerlijke stem" versus de "oren"

Om te begrijpen hoe de robot denkt, splitsten de onderzoekers zijn brein op in twee delen:

De innerlijke stem (intern taalmodel): Dit is het deel dat de regels van de doeltaal (Spaans/Frans/Italiaans) kent, maar de audio-invoer negeert. Het is als een persoon die een zin in een boek leest zonder te weten wie het gezegd heeft.
De oren (de encoder): Dit is het deel dat daadwerkelijk naar de stem luistert.

De bevinding: De "innerlijke stem" is sterk bevooroordeeld ten opzichte van het mannelijke geslacht. Als je hem vraagt te vertalen zonder dat hij de stem mag horen, zal hij bijna altijd "mannelijk" raden. De volledige robot (met oren) negeert deze innerlijke voorkeur echter vaak. Wanneer hij de stem hoort, kan hij zeggen: "Wacht, mijn innerlijke stem zegt 'mannelijk', maar het geluid zegt me 'vrouwelijk', dus ik ga voor vrouwelijk."

3. De geheime aanwijzing: het is niet alleen de "toonhoogte"

Lange tijd dachten mensen dat de robot het geslacht besliste door te luisteren naar de toonhoogte (hoe hoog of laag de stem klinkt). Hoge toon = vrouwelijk, lage toon = mannelijk. Het is als een boek beoordelen op basis van de kleur van de kaft.

De bevinding: De onderzoekers gebruikten een speciale "hittekaart" om precies te zien welke delen van de geluidsgolf de robot bekeek. Verrassend genoeg richtte de robot zich niet voornamelijk op de toonhoogte. In plaats daarvan besteedde hij aandacht aan de formanten.

De analogie: Denk aan toonhoogte als het volumeknopje, maar aan formanten als de klankkleur of de unieke "kleur" van de stem (zoals het verschil tussen een cello en een viool die dezelfde noot spelen). De robot keek naar de complexe vorm van de geluidsgolven (specifiek de eerste en tweede formanten) in plaats van alleen naar de hoge/lage noot. Het is als een persoon identificeren niet alleen op basis van hoe hard ze schreeuwen, maar op basis van de unieke textuur van hun stem.

4. De "Ik"-verbinding

De meest interessante ontdekking is hoe de robot de stem verbindt met het geslachtsgebonden woord.
Wanneer een spreker zegt: "Ik werd een student", heeft het woord "Ik" geen geslacht in het Engels. Maar de robot besefte dat het woord "Ik" de brug is naar de stem van de spreker.

De bevinding: De robot gebruikt het woord "Ik" (en andere zelfreferentiële woorden zoals "me" of "mijn") als anker. Hij koppelt de akoestische aanwijzingen in de stem (de formanten) direct aan het woord "Ik". Zodra hij weet dat de stem bij het "Ik" hoort, past hij dat geslacht toe op de rest van de zin.

De analogie: Stel je een rechercheur voor die een verdachte probeert te identificeren. De verdachte zegt: "Ik heb het gedaan." De rechercheur kijkt niet alleen naar het woord "Ik"; hij kijkt naar de stem die "Ik" zegt. Zodra de stem als vrouwelijk is geïdentificeerd, weet de rechercheur dat de hele zin over een vrouw gaat. De robot doet hetzelfde: hij gebruikt het voornaamwoord "Ik" om de in de stem verborgen geslachtsinformatie te grijpen en toe te passen op de vertaling.

5. Waarom sommige robots beter zijn dan andere

De studie vergeleek twee soorten robotarchitecturen (Transformers en Conformers).

De Transformer (de betere rechercheur): Dit model was zeer goed in het gebruik van de stemaanwijzingen om zijn "standaard mannelijk" voorkeur te negeren. Het vertrouwde sterk op de "Ik"-verbinding om het geslacht correct te bepalen.
De Conformer (de worstelende rechercheur): Dit model was minder nauwkeurig. Het neigde er meer toe om vast te houden aan zijn "innerlijke stem" (de mannelijke voorkeur) en luisterde minder effectief naar de stemaanwijzingen.

Samenvatting

Het artikel concludeert dat spraakvertalende robots slimmer zijn dan we dachten, maar dat ze op een specifieke manier werken:

Ze hebben een ingebouwde voorkeur om standaard "mannelijk" te raden.
Ze onthouden niet zomaar trainingsdata; ze leren algemene patronen.
Ze vertrouwen niet uitsluitend op de "hoog/laag"-toonhoogte van een stem.
In plaats daarvan gebruiken ze het woord "Ik" als haakje om de subtiele, complexe akoestische aanwijzingen in de stem (de formanten) te grijpen om het geslacht van de spreker te bepalen en correct te vertalen.

Als we robots willen repareren die het geslacht verkeerd bepalen, kunnen we niet alleen de trainingsboeken aanpassen of de toonhoogte bijstellen; we moeten begrijpen hoe ze het woord "Ik" koppelen aan het geluid van de stem.

1. Probleemstelling

Spraakvertaling (ST)-systemen staan voor unieke uitdagingen op het gebied van genderbias die verschillen van tekstgebaseerde Machine Translation (MT). Waar tekstsystemen vertrouwen op linguïstische context, verwerken ST-systemen audio die akoestische aanwijzingen bevat (zoals toonhoogte, formanten) die de sociodemografische attributen van de spreker onthullen, waaronder geslacht.

De Kernkwestie: Bij het vertalen van geslachtsneutrale talen (zoals Engels) naar talen met grammaticaal geslacht (bijv. Spaans, Frans, Italiaans), moeten ST-modellen geslacht toekennen aan termen die naar de spreker verwijzen (bijv. het vertalen van "I have become a student" naar diventato versus diventata).
Het Risico: Modellen kunnen sprekers verkeerd benoemen door te vertrouwen op:
1. Ongelijkheden in Trainingsdata: Standaardiseren op mannelijke vormen door vertekende corpora.
2. Akoestische Aannames: Onjuist geslacht afleiden op basis van stemkarakteristieken (bijv. ervan uitgaan dat een lage toonhoogte gelijkstaat aan mannelijk).
Het Gat: Het is slecht begrepen hoe ST-modellen akoestische informatie gebruiken om deze beslissingen te nemen, of ze vertrouwen op specifieke akoestische kenmerken (zoals toonhoogte) of linguïstische coreferentie.

2. Methodologie

De auteurs maken gebruik van een veelzijdige interpretabiliteitsbenadering om het besluitvormingsproces van ST-modellen te ontleden voor drie taalparen (Engels $\to$ Spaans, Frans, Italiaans).

A. Datasets en Modellen

Data: MuST-SHE, een benchmark met Engelse spraak met geslachtsneutrale termen die een geslachtsgebonden vertaling vereisen, geannoteerd met het zelfgeïdentificeerde geslacht van de spreker.
Modellen: Twee architecturen getraind op het MuST-C-corpus (om transparante analyse van de trainingsdata te waarborgen):
1. Transformer (Wang et al., 2020): Meertalige encoder-decoder.
2. Conformer (Papi et al., 2024): Monolinguale Conformer-encoder met Transformer-decoder.

B. Analytische Technieken

Prevalentie-analyse van Trainingsdata:
- Vergelijkt de frequentie van geslachtsgebonden termen in het trainingscorpus met de generatievoorkeuren van het model.
- Doel: Bepalen of modellen simpelweg term-specifieke trainingsstatistieken memoriseren of bredere patronen leren.
Benadering van het Interne Taalmodel (ILM):
- Vervangt de audio-uitvoer van de encoder door een nulvector, waardoor het gedrag van de decoder geïsoleerd wordt.
- Doel: Meten van de inherente bias van de decoder (geleerde taalpatronen) onafhankelijk van de invoeraudio.
Contrastieve Feature-attributie:
- Gebruikt de methode van Conti et al. (2025) om salientiekaarten te genereren op invoer-spectrogrammen.
- Mechanisme: Systematisch maskeren van segmenten van het spectrogram om veranderingen waar te nemen in de waarschijnlijkheid van het genereren van een mannelijke versus vrouwelijke vorm.
- Validatie: Identificeert "omgekeerde" voorbeelden waarbij het verbergen van specifieke kenmerken de geslachtsvoorspelling verandert, waarmee een causaal verband wordt gelegd tussen invoerkenmerken en uitvoer.

3. Belangrijkste Resultaten

A. Trainingsdata versus Modelgedrag

Vondst: Modellen repliceren niet simpelweg term-specifieke geslachtsassociaties uit de trainingsdata.
Bewijs: Hoewel de trainingsdata een mannelijke vertekening toont (ongeveer 68–71% prevalentie), voorspellen modellen frequent het minder voorkomende geslacht voor specifieke termen (bijv. 87,8% van de vrouwelijke voorspellingen in het Spaans waren voor termen waarbij de mannelijke vorm vaker voorkwam in de training).
Conclusie: Modellen leren een breder patroon van "mannelijke prevalentie" in plaats van individuele woordparen te memoriseren.

B. De Rol van het Interne Taalmodel (ILM)

Vondst: De decoder (ILM) vertoont een sterke mannelijke bias (voorkeurscores van 0,74–0,81 voor de Transformer), vaak sterker dan de ruwe prevalentie in de trainingsdata.
Interactie:
- Het Transformer-model negeert deze interne bias vaak wanneer akoestische invoer aanwezig is, en genereert succesvol vrouwelijke vormen ondanks de voorkeur van de ILM voor mannelijke vormen.
- Het Conformer-model vertrouwt meer op zijn ILM en heeft moeite om de bias te overwinnen met akoestische aanwijzingen, wat resulteert in een lagere gendernauwkeurigheid.

C. Akoestische Aanwijzingen: Toonhoogte versus Formanten

Vondst: In tegenstelling tot de aanname dat toonhoogte (Fundamentele Frequentie, F0) de primaire drijvende kracht is voor geslachtsbepaling, vertrouwen de modellen meer op formanten (F1 en F2).
Bewijs: Salientiekaarten tonen de hoogste attributiescores in het 350–2.500 Hz-bereik (formanten), wat cruciaal is voor klinkeridentiteit en varieert per geslacht van de spreker. Het toonhoogtebereik (80–350 Hz) is minder dominant, hoewel nog steeds aanwezig.
Implicatie: Interventies die alleen toonhoogte manipuleren, zijn ontoereikend om genderbias in ST te neutraliseren.

D. Het Coreferentiemechanisme

Vondst: Het meest kritieke linguïstische kenmerk voor geslachtsbepaling is het eerste-persoonsvoornaamwoord "ik" (en zelfreferentiële woorden zoals "mijn", "me").
Mechanisme:
- In tekstgebaseerde MT gebruiken modellen geslachtsgebonden voornaamwoorden (hij/zij) om ambiguïteit op te lossen.
- In ST is het woord "ik" semantisch geslachtsneutraal. Het model gebruikt "ik" echter als anker om de akoestische aanwijzingen van de stem van de spreker te koppelen aan het grammaticale geslacht van de doelterm.
- Statistisch Bewijs: Voor het Transformer-model is "ik" het hoogst scorende woord in 36–46% van de "omgekeerde" voorbeelden (waarbij masking de voorspelling verandert). Het opnemen van alle zelfreferentiële woorden brengt dit percentage naar 43–53%.
- Asymmetrie: Dit mechanisme is significant kritischer voor het genereren van vrouwelijke vormen (60%+ omkeerpercentage bij masking) dan voor mannelijke vormen, wat suggereert dat het model akoestische aanwijzingen gebruikt om zijn standaard mannelijke bias specifiek voor vrouwelijke uitvoer te overwinnen.

4. Belangrijkste Bijdragen

Ontkoppelen van Biasbronnen: Demonstreert dat genderbias in ST niet louter een weerspiegeling is van de verdeling van trainingsdata, maar een complexe wisselwerking tussen een bevooroordeeld intern taalmodel en akoestische invoer.
Ontdekking van Akoestische Kenmerken: Identificeert dat formanten (F1/F2), niet alleen toonhoogte, de primaire akoestische drijvers zijn voor geslachtsbepaling in ST-modellen.
Coreferentie in Audio: Onthult een nieuw mechanisme waarbij modellen semantisch neutrale eerste-persoonsvoornaamwoorden ("ik") gebruiken als brug om gedistribueerde akoestische geslachtsinformatie te benaderen, effectief "akoestische coreferentie-oplossing" uitvoerend.
Architecturale Vergelijking: Toont aan dat op Transformer gebaseerde ST-modellen beter zijn in het benutten van deze akoestische aanwijzingen om interne biases te overwinnen in vergelijking met op Conformer gebaseerde modellen.

5. Betekenis en Implicaties

Mitigatiestrategieën: Huidige mitigatiestrategieën die zich uitsluitend richten op het herbekken van trainingsdata of het manipuleren van toonhoogte, zijn waarschijnlijk ontoereikend. Effectieve interventies moeten de afhankelijkheid van het model van formanten en de neiging om te defaulten naar mannelijke vormen aanpakken wanneer akoestische aanwijzingen dubbelzinnig of afwezig zijn.
Ethische Overwegingen: De studie benadrukt het risico van "misgendering" van sprekers wier stemkarakteristieken niet overeenkomen met binair geslachtsverwachtingen. Het inzicht dat modellen "ik" + stem gebruiken om geslacht af te leiden, suggereert dat systemen zo ontworpen kunnen worden dat ze door de gebruiker opgegeven voornaamwoorden respecteren in plaats van geslacht af te leiden uit de stem.
Toekomstig Onderzoek: De bevindingen suggereren dat toekomstige ST-systemen (inclusief SpeechLLM's) geëvalueerd moeten worden op hun vermogen om niet-binaire genderidentiteiten te hanteren en op hun afhankelijkheid van specifieke akoestische kenmerken buiten toonhoogte om.

Kortom, het paper biedt een granulaire, causale verklaring van hoe spraakvertaalmodellen genderambiguïteit navigeren, en onthult dat ze functioneren door akoestische stemkarakteristieken te verankeren aan linguïstische markers van de eerste persoon, in plaats van te vertrouwen op eenvoudige toonhoogtedetectie of memorisatie van trainingsdata.