SEAM: Shortcut-Aware Real-Time Detection of Scripted vs. Spontaneous Speech for Interview Guardrails

Technische Samenvatting: SEAM – Shortcut-bewuste Real-time Detectie van Gescript versus Spontane Spraak

1. Probleemstelling

De detectie van gescript versus spontane spraak is cruciaal voor toepassingen zoals guardrails voor conversationele systemen en corpuscuratie. Bestaande benchmarks lijden echter vaak aan opgeblazen prestatiecijfers die worden gedreven door "shortcuts" (afkortingen) in plaats van werkelijke herkenning van de spreekstijl. Modellen vertrouwen frequent op spurieuze correlaties die verbonden zijn aan corpusidentiteit, kanaalcondities (bijv. microfoonkwaliteit, kamerakoestiek) en opname-artefacten (bijv. codec-effecten) in plaats van op prosodische of temporele aanwijzingen.

In scenario's voor real-world implementatie, zoals AI-ondersteunde sollicitatiegesprekken, faalt een model dat deze shortcuts leert wanneer het wordt geconfronteerd met bescheiden verschuivingen in de opnamecondities of corpusbronnen. De uitdaging is tweeledig: het ontwikkelen van een systeem dat compact genoeg is voor real-time inferentie met lage latentie naast andere spraakcomponenten, en het waarborgen dat de trainings- en evaluatiepipeline shortcut-learning actief ontmoedigt om robuustheid in externe domeinen te garanderen.

2. Methodologie: Het SEAM-framework

De auteurs stellen SEAM voor (Shortcut-aware Evaluation, Augmentation, and Modeling), een framework ontworpen om taakontwerp, datacuratie, preprocessing en evaluatie te coördineren om shortcut-learning te beperken.

• Datacuratie en Preprocessing:

  • Corpora: De trainingsdata aggregeert vier Engelse corpora: People's Speech en PodcastFillers (spontaan) en LibriSpeech en Spoken Wikipedia (gescript).
  • Uniforme Golfvorm Preprocessing: Om kanaalvariatie te onderdrukken, wordt alle audio omgezet naar mono 16 kHz en verwerkt via een pipeline die DC-verwijdering, een 70 Hz hoogdoorlaatfilter, geïntegreerde luidheidnormalisatie (−23 LUFS) en peak limiting omvat.
  • Seam-bewuste Sampling: Trainingsvensters worden strikt gesampled uit provenance-consistente segmenten binnen een enkele bronopname. Dit voorkomt dat het model kunstmatige grenzen of "seams" (naden) leert die ontstaan door het samenvoegen van verschillende opnames, wat als onbedoelde stijlkenmerken zou kunnen dienen.
  • Niet-spraak Augmentatie: Om de heuristiek te doorbreken dat "schone audio staat gelijk aan gescript spraak," wordt een speciale ruisbank (bevattende kamertoon, ademhaling en microfoonartefacten) geïnjecteerd in de trainingsvensters met een willekeurige overlapratio van 40–70%.

• Modelarchitectuur:

  • Backbone: Het systeem maakt gebruik van DistilHuBERT, een compacte self-supervised speech encoder gekozen vanwege de gunstige kwaliteit-efficiëntie trade-off.
  • Classifier: Een lichtgewicht 2-laagse MLP met ReLU-activaties en dropout volgt de temporele mean pooling van de encoder-outputs.
  • Trainingsstrategie: De auteurs maken gebruik van shallow adaptation regimes in plaats van volledige end-to-end fine-tuning. De definitieve configuratie ontdooft alleen de bovenste transformer-laag van de encoder terwijl de rest bevroren blijft, wat optimaliseert voor real-time implementatiebeperkingen.

• Evaluatieprotocol:

  • Intern: Gegroepeerde 80/10/10 splits (train/eval/test) gebaseerd op spreker-, gebruiker- of opnamefamilie-sleutels om datalekken te minimaliseren.
  • Extern: Een propriëtaire interview-domein dataset wordt uitsluitend gebruikt voor evaluatie. Deze set is doelbewust adversarieel, waarbij spreekstijlen worden gekruist met variërende opnamecondities (schoon versus gemengde kamer/microfoon) om robuustheid tegen corpus- en kanaalverschuivingen te testen.

3. Belangrijkste Resultaten

• Prestaties: Onder het volledige trainingsregime (240 uur per klasse) bereikt het uiteindelijke SEAM-model 0,971 ± 0,004 ROC-AUC op de externe evaluatieset van het interview-domein en 0,9766 ± 0,0045 op de interne testset.
• Ablatie van Shortcut-preventie: Het verwijderen van shortcut-preventiecomponenten (ruis-augmentatie en seam-bewuste sampling) verbetert de interne helden-metrieken (bijv. interne test AUC stijgt van 0,9287 naar 0,9557) maar verslechtert de externe prestaties drastisch (externe AUC daalt van 0,8991 naar 0,7324). Dit bevestigt dat naïeve benchmarkwinsten vaak reflecties zijn van shortcut-learning in plaats van verbeterde stijlmodellering.
• Hyperparameters:
  • Vensterlengte: Vensters van 8 seconden bieden de optimale balans tussen nauwkeurigheid en latentie; 12-seconden vensters bieden marginale winst ten koste van hogere latentie.
  • Adaptatie-diepte: Alleen de bovenste transformer-laag ontdooien levert superieure resultaten op vergeleken met alleen de head trainen of diepere lagen ontdooien.
• Implementatie-efficiëntie:
  • Quantisatie: Post-training quantisatie vermindert de modelvoetafdruk van ~90 MB naar 41,8 MB (INT4) met verwaarloosbaar verlies in externe nauwkeurigheid (95,35% vs. 95,17%) en AUC (0,9743 vs. 0,9713).
  • Latentie: Het systeem werkt met een real-time factor (RTF) van ongeveer $5,60 \times 10^{-4}$ op een NVIDIA L4 GPU.

4. Betekenis en Claims

Het artikel betoogt dat robuuste detectie van gescript versus spontaan afhangt van zowel de dataconstructie en evaluatieontwerp als de keuze van de backbone-modellen. De primaire bijdrage is het aantonen dat "shortcut-bewuste" componenten—specifiek uniforme preprocessing, seam-bewuste sampling en niet-spraak augmentatie—essentieel zijn voor het overdragen van prestaties van interne benchmarks naar real-world, externe domeinen.

De auteurs positioneren SEAM niet als een zelfstandige beslisser, maar als een smal integriteitssignaal voor menselijke beoordeling in interview-guardrails. Ze erkennen beperkingen, waarbij zij opmerken dat het systeem primair Engels-georiënteerd is, dat gescriptheid verstrengeld blijft met genre en opnamepraktijken, en dat zero-shot transfer naar niet-Engelse talen slechts gedeeltelijk is. Het werk benadrukt dat standaard helden-nauwkeurigheid misleidend kan zijn als het corpus-specifieke heuristieken beloont, en pleit voor transfer-georiënteerde evaluatie als een noodzakelijke standaard voor implementatieklare audiomodellen.