Modeling turn-taking with distant viewing: investigating silence thresholds in human and AI-generated discourse

Technische Samenvatting: Modellering van Beurtwisseling met Distant Viewing

Probleemstelling
Het artikel adresseert een methodologische kloof in de automatische analyse van audiovisuele media: de aanname dat intervallen van stilte tussen beurten, gemeten door uitsluitend op audio gebaseerde diarizatie-instrumenten, louter de interactionele timing tussen sprekers reflecteren. In broadcast- en gemonteerde media wordt stilte vaak bepaald door productiekeuzes (montage, camerawisselingen, publieksreactie) in plaats van door onderhandeling tussen sprekers. De studie onderzoekt of automatische diarizatie in dergelijke contexten nauwkeurig de timing van beurtwisseling kan meten, of dat de gedetecteerde "stilte" eigenlijk een bijproduct is van de materiële condities van de productie (montageritme) in plaats van de interactionele strategieën van de sprekers. Bovendien streeft het onderzoek ernaar om deze door mensen geproduceerde, gemonteerde ritmes te vergelijken met de timing van synthetische, door AI gegenereerde discours.

Methodologie
De studie maakt gebruik van een "distant viewing"-benadering, waarbij audio-diarizatie wordt gecombineerd met visuele analyse over twee verschillende corpora:

1. Menselijk Corpus: Dertig Amerikaanse situation comedy's uit de periode van de jaren 1950 tot de jaren 2010 (meer dan 4.500 afleveringen), die zowel multi-camera (studiopubliek) als single-camera productiestijlen beslaan.
2. Synthetisch Corpus: Eenentwintig podcasts gegenereerd met Google's NotebookLM, met een vast twee-host formaat (één hoogvallende vrouwelijke persona, één laagvallende mannelijke persona).

Technische Pipeline:

• Audioverwerking: De pyannote-suite werd gebruikt voor speaker diarization om de grenzen van beurten te identificeren en de intervallen tussen beurten te berekenen. Het geslacht van de spreker werd akoestisch toegewezen met behulp van een fundamentele frequentiedrempel (F0) gemeten in Praat.
• Visuele Verwerking: Voor het televisiecorpus identificeerde een deep shot-transition detector de videocuts, en gezichtsdetectie classificeerde shots als single-person (S) of multi-person (M).
• Data-integratie: Audio-intervallen werden getagd op basis van hun nabijheid tot visuele cuts (binnen ±0,5 seconden, gelabeld als "near-cut") versus voorkomen binnen een enkele shot ("mid-shot"). Hierdoor konden de auteurs de intervallen die beïnvloed worden door montagebeslissingen isoleren van die welke voorkomen binnen continue shots.

Belangrijkste Resultaten

• Diarizatie Nauwkeurigheid: In het synthetische corpus identificeerde de pipeline correct het aantal sprekers in 86% van de podcasts. Fouten waren primair oversegmentatie (het verzinnen van spook-sprekers) in plaats van onder-telling.
• Het Montage-effect: In het televisiecorpus was de locatie van een interval relatief aan een visuele cut de sterkste voorspeller van de duur.
  • Intervallen die "near-cut" (±0,5s van een shot-verandering) plaatsvonden, hadden een mediane duur van 711 ms.
  • Intervallen die "mid-shot" plaatsvonden, hadden een mediane duur van 424 ms.
  • Dit verschil van 287 ms overtreft de variaties veroorzaakt door gender-transities (≤91 ms) of productiestijl (138 ms) ruimschoots.
• Productiestijl & Era: Multi-camera sitcoms (met lachbanden/publiek) vertoonden langere intervallen (562 ms) dan single-camera shows (424 ms). Intervallen piekten in de jaren '80/'90 en namen af in de jaren 2010, wat correleert met de verschuiving in de industrie naar single-camera formaten. Echter, de variatie tussen individuele series overtrof vaak deze geaggregeerde trends.
• Synthetische vs. Menselijke Timing: Het synthetische NotebookLM-corpus vertoonde aanzienlijk kortere en uniformere intervallen. Cross-gender transities in synthetische spraak hadden medianen van 287–310 ms, vergeleken met 505–550 ms in broadcast televisie. De synthetische data miste de "inflatie" veroorzaakt door publieksreacties of editoriale pacing, en presenteerde een bijna mechanische overdracht.

Belangrijkste Bijdragen

1. Ontkoppeling van Interactie en Productie: De studie toont aan dat een aanzienlijk deel van de stilte die in broadcast-audio wordt gemeten, niet een sprekersgedrag is, maar een product van het ritme van de editor. Audio-only diarizatie "voegt het ritme van de editor stilletjes samen met wat lijkt op de timing van de sprekers."
2. Distant Viewing Framework: Het valideert een pipeline die audio-diarizatie koppelt aan shot-segmentatie om onderscheid te maken tussen interactionele timing en materiële productiebeperkingen in grootschalige media-analyse.
3. Karakterisering van AI-discours: Het biedt een baseline voor AI-gegenereerde conversatie, waarbij wordt aangetoord dat huidige generatieve systemen (NotebookLM) een beurtwisseling produceren die sneller, uniformer en vrij van de overlap en variabiliteit is die men vindt in spontane menselijke interactie of de pacing van gemonteerde menselijke media.

Betekenis en Claims
Het artikel claimt bescheiden dat voor "distant viewing" van audiovisuele media, de inter-turn gap timing die door signaal-alleen diarizatie wordt teruggewonnen, evenzeer de materiële en productiecondities van de bron (specifiek shot cuts) reflecteert als, zo niet meer dan, de interactionele keuzes van sprekers.

De auteurs stellen dat het behandelen van deze intervallen als bewijs voor "strategie" van beurtwisseling zonder rekening te houden met montage, methodologisch gebrekkig is. De studie claimt niet spontane menselijke conversatie te modelleren, waarbij wordt opgemerkt dat beide corpora "overlap-arm" zijn en de variabiliteit missen van ongefilterde, in-persoon gesprekken. Bij consequentie is de primaire bijdrage een waarschuwende methodologische les: in gemonteerde media is de "stilte" tussen beurten vaak een structureel artefact van het medium, en geen kenmerk van de conversatie. De auteurs identificeren de inclusie van spontane, overlap-rijke spraak als de noodzakelijke volgende stap om de dynamiek van beurtwisseling volledig te begrijpen.