Can LLM Agents Identify Spoken Dialects like a Linguist?

Titel: Kunnen LLM-agenten gesproken dialecten identificeren zoals een linguïst?

Auteurs: Tobias Bystrich, Lukas Hamm, Maria Hassan, Lea Fischbach, Lucie Flek, Akbar Karimi (Universiteit Bonn, Universiteit Marburg, B-IT, Lamarr Institute).

---

1. Het Probleem

De classificatie van gesproken dialecten is een uitdagende taak, vooral voor talen met weinig gelabelde data, zoals Zwitsers-Duits. Traditionele methoden maken vaak gebruik van akoestische modellering (bijv. HuBERT) die geluidsgolven direct verwerken, maar deze modellen vangen voornamelijk akoestische gelijkenis op en niet per se linguïstische kennis.

Hoewel Large Language Models (LLMs) uitstekend presteren in tekstuele taken, is hun vermogen om dialecten te identificeren op basis van fonetische transcripties (zoals IPA) nog onvoldoende onderzocht. De kernvraag is of LLMs, gesteund door linguïstische context en redeneermechanismen, in staat zijn om dialectvariaties te analyseren en te classificeren op een niveau dat vergelijkbaar is met dat van een menselijke linguïst.

2. Methodologie

De auteurs hebben een hybride aanpak ontwikkeld die LLM-agenten combineert met linguïstische hulpmiddelen en fonetische transcripties.

Datasets

• SwissDial: Een kleiner corpus met handmatige transcripties in volksorthografie voor 8 dialecten (bijv. Zürich, Bern, Basel).
• STT4SG-350: Een groter corpus (343 uur) met automatisch gegenereerde transcripties van 316 sprekers.
• Label-herdefinitie: Om de complexiteit te verminderen, zijn de 8 oorspronkelijke klassen gereduceerd tot een binair probleem:
  1. Hoog-Alemannisch (bijv. Zürich, Aargau, Luzern).
  2. Hoogst-Alemannisch (bijv. Wallis, delen van Graubünden).
     Transitiezones en minder duidelijk afgebakende gebieden werden uitgesloten.

De Agent-Architectuur (LangGraph)

In plaats van een enkelvoudige LLM-prompt, gebruikten de auteurs een multi-node agent gebaseerd op LangGraph:

1. Invoer: Automatisch gegenereerde fonetische transcripties (via ASR-model XLSR-53/Wav2Vec2Phoneme) en vertalingen naar Standaard-Duits.
2. Linguïstische Context: De agent krijgt extra informatie toegediend, waaronder:
   • Kaarten met dialectkenmerken.
   • Historische klinkerontwikkelingen.
   • IPA-kaarten voor consistentie.
   • Voorbeeldanalyses van een linguïst (few-shot learning).
3. Workflow:
   • Node 1 (Vowel & Consonant Analysis): Analyseert klinker- en medeklinkerpatronen en geeft per klasse een betrouwbaarheidsscore.
   • Node 2 (Specialized Features Analysis): Overweegt bredere fonologische kenmerken en combineert de resultaten tot een definitieve voorspelling.
4. Model: GPT-4o mini (via API) als de onderliggende taalmodel.

Baselines voor Vergelijking

• HuBERT: Een encoder-based spraakmodel (mHuBERT-147) dat direct op audio is getraind en gefinetuned voor dialectclassificatie.
• LLM Baseline: Dezelfde LLM, maar zonder de extra linguïstische informatie (alleen transcriptie).
• Menselijke Linguïst: Een expert die dezelfde transcripties en informatie analyseerde om een bovengrens te bepalen.

3. Belangrijkste Bijdragen

1. Manuele Evaluatie: Een grondige analyse van hoe LLMs dialectonderscheid rechtvaardigen, inclusief hun redeneerprocessen.
2. Vergelijkende Baselines: Een directe vergelijking tussen een traditioneel spraakmodel (HuBERT), een generatief LLM, een LLM-agent en een menselijke expert.
3. Agent Framework: Het demonstreren dat het opsplitsen van de taak in gespecialiseerde nodes (via LangGraph) en het toevoegen van externe linguïstische kennis de prestaties van LLMs aanzienlijk verbetert ten opzichte van een "single-shot" prompt.
4. Inzicht in Beperkingen: Het in kaart brengen van de grenzen van huidige modellen bij het interpreteren van fonetische representaties zonder directe audio-invoer.

4. Resultaten

De resultaten zijn gebaseerd op een binaire classificatie (Hoog- vs. Hoogst-Alemannisch) op een testset van 80 segmenten.

Model / Methode	Nauwkeurigheid (Accuracy)	Macro-F1	Opmerkingen
HuBERT (Spraakmodel)	66,3%	66,3%	Beste prestatie onder niet-menselijke modellen.
Menselijke Linguïst	72,5%	72,3%	Hoogste prestatie (gebaseerd op 58 eenduidige gevallen).
LLM Agent (GPT-4o mini + Context)	58,0%	56,3%	Significant beter dan de basis-LLM (+10,2%).
LLM Baseline (Alleen transcriptie)	47,8%	47,0%	Presteert nauwelijks beter dan willekeur.

• Kernbevindingen:
  • HuBERT presteert beter dan de LLM-varianten, waarschijnlijk omdat het model modaal bewust is (werkt direct met audio) en specifiek is gefinetuned op spraakdata.
  • De agent-aanpak verbetert de prestaties van de LLM aanzienlijk door het gebruik van gespecialiseerde nodes en externe kennisbronnen.
  • De menselijke linguïst presteert het beste, maar zelfs deze expert heeft moeite met de kwaliteit van de automatisch gegenereerde transcripties (ASR fouten).
  • Er werd een classificatie-ongelijkheid waargenomen bij de agent: deze neigde sterk naar het voorspellen van "Hoogst-Alemannisch" (57 van 80 gevallen) in plaats van een evenwichtige verdeling.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat LLMs potentie hebben in taalkundige taken die redeneren vereisen, maar dat ze in hun huidige vorm (zonder specifieke fine-tuning op audio) nog niet kunnen concurreren met gespecialiseerde spraakmodellen zoals HuBERT voor pure dialectclassificatie.

• De rol van context: Het toevoegen van linguïstische kennis (dialectkaarten, historische regels) is cruciaal voor LLMs om bruikbare resultaten te leveren. Zonder deze context presteren ze slecht.
• Agenten vs. Enkele Modellen: Het gebruik van een agent-framework (LangGraph) dat de taak deconstrueert, is effectiever dan het geven van één grote prompt.
• Toekomstperspectief: Hoewel de LLM-agent de menselijke linguïst nog niet evenaart, benadert het de prestaties van traditionele modellen als er voldoende linguïstische context wordt geboden. De kwaliteit van de ASR-transcripties blijft echter een beperkende factor; verbetering van de transcriptie zou de prestaties van zowel de mens als de AI waarschijnlijk verder verhogen.

Het paper concludeert dat LLM-agenten een veelbelovende route zijn voor taalkundig redeneren, maar dat voor robuuste dialectclassificatie een combinatie van audio-gebaseerde modellen en linguïstische kennis nodig is.