Pantagruel: Unified Self-Supervised Encoders for French Text and Speech

Probleemstelling

Bestaande zelfsupervised learning (SSL) modellen voor de Franse taal, zoals CamemBERT en FlauBERT voor tekst, en LeBenchmark voor spraak, vertrouwen voornamelijk op token-level reconstructie (bijvoorbeeld Masked Language Modeling - MLM). Deze aanpak heeft beperkingen:

1. Het benut de structurele regulariteiten van continue signalen (zoals spraak) niet optimaal.
2. Het bemoeilijkt een unified behandeling van tekst en spraak, omdat de objectieven en architecturen vaak modality-specifiek zijn.
3. Voor tekst is er weinig ruimte voor verbetering via embedding-based methoden omdat teksttokenen compact en semantisch dicht zijn, wat de voordelen van pure feature-prediction beperkt.

Het doel van dit onderzoek is het ontwikkelen van een familie van modellen die zowel tekst als spraak efficiënt kan verwerken door te leren in de feature space (latent space) in plaats van op ruwe input of tokens, en dit te doen met een gedeelde architectuur.

Methodologie

1. Architectuur: Data2vec 2.0 & JEPA
De auteurs gebruiken het data2vec 2.0-framework, een implementatie van de Joint Embedding Predictive Architecture (JEPA).

• Leerparadigma: Een "teacher-student" setup. De student voorspelt de verborgen (masked) representaties van de teacher, die de volledige, niet-gemaskerde input observeert.
• Doel: Het minimaliseren van de L2-afstand tussen de voorspelde latent representations en de echte teacher-representaties.
• Unificatie: Dezelfde Transformer-architectuur wordt gebruikt voor zowel tekst als spraak, met slechts een modality-specifiek pre-net (CNN voor spraak, embedding-laag voor tekst).

2. Aanpassingen voor Tekst
Omdat pure feature-prediction voor tekst minder effectief bleek voor fijne syntactische details, introduceerden de auteurs een hybride loss-functie:

• $L_{text} = L_{L2} + \lambda L_{mlm}$
• Hierbij wordt de feature-space voorspelling gecombineerd met traditionele Masked Language Modeling (MLM).
• Het gewicht $\lambda$ van de MLM-component neemt lineair af tijdens het trainingproces om de focus te verschuiven van token-level naar contextuele representaties.

3. Data en Corpora

• Tekst: Getraind op grote corpora waaronder Wikipedia, OSCAR en CroissantLLM (totaal honderden miljarden tokens).
• Spraak: Getraind op een diverse collectie, inclusief LeBenchmark (14.000 uur) en een nieuw geïntroduceerd corpus: INA-100k.
  • INA-100k: Een nieuw corpus van 100.000 uur Franse audio, afkomstig uit de archieven van het Institut National de l'Audiovisuel (INA). Het bevat zeer diverse data (nieuws, documentaires, reclames, etc.) en is voorafgegaan door deduplicatie om bias te verminderen.

4. Tokenisatie
De auteurs trainden een aangepaste tokenizer op basis van CroissantLLM, specifiek geoptimaliseerd voor Frans (bijv. normalisatie van apostrofvormen in eliderende woorden).

Belangrijkste Bijdragen

1. Pantagruel Familie: De release van een nieuwe familie van zelfsupervised encoders voor zowel Frans tekst als spraak, gebaseerd op data2vec 2.0/JEPA.
2. Hybride Objectief voor Tekst: Het onderzoek naar embedding-based voorspelling voor tekst en de demonstratie dat een combinatie met MLM superieure resultaten oplevert voor Franse tekstencoders.
3. INA-100k Corpus: De introductie en publicatie van een enorm, divers spraakcorpus van 100.000 uur, wat een mijlpaal is voor Franse spraakverwerking.
4. Unificatie: Een bewijs dat een enkele architectuur succesvol kan worden getraind op twee verschillende modaliteiten met vergelijkbare prestaties als gespecialiseerde state-of-the-art modellen.

Resultaten

De modellen zijn geëvalueerd op een breed scala aan downstream-taken voor zowel tekst als spraak.

Tekstprestaties:

• Pantagruel-modellen (vooral de versies getraind op OSCAR en CroissantLLM) presteren concurrerend of superieur ten opzichte van sterke baselines zoals CamemBERT en FlauBERT op semantische taken (tekstclassificatie, vraag-antwoord, paraphrase).
• Ze presteren iets minder goed op taak-specifieke syntactische taken zoals Verb Sense Disambiguation (VSD) en Dependency Parsing, wat suggereert dat token-level supervisie nog steeds waardevol is voor fijne linguïstische structuur.
• De hybride loss (MLM + feature prediction) bleek cruciaal voor het behalen van deze resultaten.

Spraakprestaties:

• Pantagruel-modellen overtreffen consistent de bestaande LeBenchmark-baselines op bijna alle spraaktaken.
• Het grootste model, Pantagruel-L-114k (getraind op LeBenchmark + INA-100k), behaalt de beste resultaten, met name op uitdagende, spontane en ruizige datasets zoals ETAPE en DyLNet (kinderstemmen).
• Voor Automatic Speech Recognition (ASR) en Speech Emotion Recognition (SER) tonen de modellen een hoge robuustheid.
• Bij Speech-to-Text Translation (ST) presteert het model ook sterk, zelfs in low-resource settings, wat de effectiviteit van de latent-based objective bevestigt.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de Franse NLP en spraakverwerking:

• Scalabiliteit: Het bewijst dat feature-space self-supervision efficiënt schaalt naar grote Franse corpora.
• Robuustheid: De integratie van het INA-100k corpus heeft geleid tot modellen die uitzonderlijk goed omgaan met variatie in geluidskwaliteit en spreekstijl (spontaan, radio, TV).
• Multimodaliteit: Pantagruel biedt een praktische, gedeelde basis voor toekomstige multimodale toepassingen (bijv. gesproken vraag-antwoord, automatische ondertiteling).
• Open Science: De modellen, het nieuwe corpus en de code zijn openbaar gemaakt (HuggingFace), wat de Franse onderzoeksgemeenschap verrijkt met transparante en reproduceerbare middelen.

Kortom, Pantagruel demonstreert dat een unified, JEPA-gebaseerde aanpak, gecombineerd met massale en diverse data, leidt tot robuuste foundation modellen voor de Franse taal, zowel voor tekst als spraak.