Investigating the Representation of Backchannels and Fillers in Fine-tuned Language Models

1. Probleemstelling

Moderne transformer-gebaseerde Large Language Models (LLM's) worden doorgaans getraind op tekstcorpora waarbij backchannels (bijv. "uh-huh", "yeah") en fillers (bijv. "uh", "um") vaak als ruis worden behandeld en tijdens de voorverwerking worden verwijderd. Bijgevolg missen deze modellen het vermogen om deze cruciale linguïstische elementen te representeren of te genereren.

• De Kloof: Backchannels en fillers zijn niet semantisch "gebleekt"; ze dragen rijke pragmatische functies (bijv. beurtvasthouden, instemming, signalering van cognitieve belasting en het beheer van het gespreksverloop).
• Het Gevolg: Huidige LM's produceren tekstachtige output die de vloeiendheid en sociale aanwijzingen van natuurlijk menselijk dialoog mist, waardoor ze falen als bekwame conversatieagenten.
• Onderzoeksdoel: Onderzoeken of fine-tuning-strategieën LM's in staat kunnen stellen om de semantische representaties van backchannels en fillers te leren en te verbeteren, waardoor algemene LM's worden getransformeerd in meer menselijke conversatieagenten.

2. Methodologie

Data Selectie

De studie gebruikte drie geannoteerde dialoogcorpora met behouden backchannels en fillers:

• Engels: Switchboard (Godfrey & Holliman, 1993) en MapTask (Anderson et al., 1991).
• Japans: BTSJ 1000 Person Japanese Natural Conversation Corpus (Usami, 2023).
• Focus: De 15 meest voorkomende backchannels/fillers in elke taal werden geselecteerd voor analyse (bijv. uh, yeah, uh-huh in het Engels; un, hai, a in het Japans).

Geëvalueerde Modellen

Vier transformer-gebaseerde modellen werden gebruikt, variërend van kleinere tot grotere architecturen:

• BERT (Engelse en Japanse versies).
• GPT-2 (Engelse en Japanse versies).
• LLaMA-3 8B (Meertalig).
• Qwen-3 8B (Meertalig).

Fine-tuning Strategieën

Drie verschillende downstream-taken werden ingezet om de modellen de context van deze linguïstische eenheden aan te leren:

1. Maskering (MASK): Geïnspireerd door BERT's pre-training. Specifieke backchannels/fillers werden gemaskeerd (80% vervangen door [MASK], 10% willekeurige tokens, 10% onveranderd), en het model werd getraind om de originele tokens te voorspellen met behulp van bidirectionele context.
2. Next Token Prediction (NTP): Een standaard autoregressieve taak waarbij het model de volgende token voorspelt (die een filler/backchannel of een inhoudswoord kan zijn) gegeven de voorafgaande context.
3. Turn-Taking Prediction (TTP): Met behulp van het TurnGPT-framework voorspelt het model de waarschijnlijkheid van een beurtwisseling na een specifieke token. Deze taak maakt gebruik van de sterke correlatie tussen backchannels en beurtbeheer.

Opmerking: Voor MASK en NTP werden uitingen van beide sprekers samengevoegd tot een enkele sequentie met spreker-ID's (<s1>, <s2>) om de context te behouden.

Context Instellingen

Om de rol van context te analyseren, werden embeddings onder drie condities geëxtraheerd:

• Geen Context: Alleen de uiting die de backchannel/filler bevat.
• Eén Context: De doel-uiting plus de direct voorafgaande en volgende uitingen.
• Volledige Context: Alle voorafgaande uitingen in de dialoog (alleen van toepassing op LLaMA-3 en Qwen-3 vanwege contextvensterlimieten).

Evaluatiemetrics

• Kwaliteit van Representatie (Ongecontroleerd):
  • Clustering Analyse: K-means clustering werd toegepast op de embeddings van de 15 doelwoorden.
  • Silhouette Score (SC): Gebruikt om de kwaliteit van de clustering te meten (hogere scores duiden op betere scheiding tussen verschillende backchannel-types).
  • Confusiematrices: Visualiseerden afstanden tussen embeddings om onderscheidend vermogen te tonen.
• Kwaliteit van Generatie (Gecontroleerd/Generatief):
  • Modellen kregen de opdracht een dialoog voort te zetten.
  • Metrics: Frequentie en diversiteit van gegenereerde backchannels, frequentie-gewogen Perplexity (PPL), BERTScore (F1) en BLEU Score in vergelijking met de grondwaarheid.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs van Representatielearning: De studie levert het eerste systematische bewijs dat fine-tuning de interne representatie van backchannels en fillers in LM's significant verbetert, waardoor ze van "willekeurige" of "gebleekte" vectoren worden omgezet in distincte, functioneel geclusterde representaties.
2. Comparatieve Analyse van Strategieën: Het vergelijkt MASK-, NTP- en TTP-strategieën en vindt dat hoewel alle strategieën de representatie verbeteren, NTP over het algemeen de hoogste silhouette-scores oplevert, hoewel MASK uitzonderlijk goed presteert voor Japans BERT.
3. Analyse van Contextuele Impact: Het artikel onthult een genuanceerde relatie tussen contextgrootte en representatiekwaliteit. Hoewel enige context helpt, kan excessieve context (Volledige Context) de specifieke representatie van functionele woorden soms "verdunnen" door ze te comprimeren in beperkte semantische gebieden, wat in sommige gevallen leidt tot lagere silhouette-scores.
4. Inzichten in Modelarchitectuur: Het toont aan dat grotere modellen (LLaMA-3, Qwen-3) over het algemeen betere clustering bereiken, maar dat kleinere modellen (BERT) deze representaties ook effectief kunnen leren met de juiste fine-tuning-taak (MASK).

4. Resultaten

• Silhouette Scores: Over alle modellen en talen heen verhoogde fine-tuning consistent de gemiddelde silhouette-scores.
  • Voorbeeld: Voor LLaMA-3 (Engels) steeg de gemiddelde SC van ~0,45 (pre-getraind) naar ~0,59 (NTP gefinetuned).
  • Dit geeft aan dat gefinetuned modellen onderscheid maken tussen verschillende pragmatische functies (bijv. "uh" voor aarzeling versus "yeah" voor instemming) veel beter dan pre-getrainde modellen.
• Clustering Gedrag:
  • Pre-getrainde modellen toonden hoge overlapping (lage SC) en willekeurige clustering.
  • Gefinetuned modellen toonden duidelijkere grenzen in t-SNE-visualisaties en meer distincte clusters in K-means-analyse.
• Generatieprestaties:
  • Gefinetuned modellen genereerden backchannels/fillers met een hogere frequentie en grotere diversiteit in vergelijking met pre-getrainde baselines.
  • Perplexity op gegenereerde backchannels daalde significant (bijv. Engels LLaMA-3 PPL daalde van 197,67 naar 5,30), wat aangeeft dat het model de statistische waarschijnlijkheid van deze tokens in context heeft geleerd.
  • Similariteit: BERTScore en BLEU-scores verbeterden, wat aantoont dat de gegenereerde dialogen dichter bij menselijke grondwaarheid lagen.
• Kwalitatieve Bevindingen: Gefinetuned modellen toonden het vermogen om fillers te gebruiken voor signalering van cognitieve belasting (bijv. "um" voor een moeilijk woord) en backchannels voor grounding (bijv. "uh-huh" om begrip te bevestigen), waarbij het menselijke conversatieverloop werd nagebootst.

5. Betekenis en Implicaties

• Voorbij "Ruis": Het artikel daagt de NLP-conventie uit om backchannels en fillers als ruis te behandelen die moet worden opgeschoond. Het bewijst dat het leerbare, representeerbare linguïstische eenheden zijn met distincte semantische en pragmatische rollen.
• Conversatie-AI: De bevindingen suggereren een weg naar het bouwen van natuurlijkere, aandachtigere en sociaal bewuste dialoogagenten. Door te finetunen op dialoogdata kunnen LM's leren om beurtwisseling te beheren en gepaste feedback te geven, wat essentieel is voor mens-computerinteractie.
• Ondervertegenwoordigde Tokens: Dit dient als een case study voor hoe LM's kunnen leren tokens te representeren die zeldzaam of slecht vertegenwoordigd zijn in algemene pre-training-corpora, mits ze via fine-tuning worden blootgesteld aan rijke contextuele data.
• Toekomstige Richtingen: De auteurs benadrukken de noodzaak om vocale signalen (prosodie, toonhoogte) in spraakmodellen te onderzoeken en het potentieel van geavanceerde fine-tuning-technieken (bijv. chirurgische fine-tuning) om deze representaties verder te verfijnen zonder de algemene taalcapaciteiten te compromitteren.

Concluderend toont de studie aan dat fine-tuning een kritiek mechanisme is voor het transformeren van algemene LM's in conversatieagenten die in staat zijn tot het produceren van menselijke, pragmatisch rijke dialogen door effectief de representaties van backchannels en fillers te leren.