Technische Samenvatting: LoCar – Lokalisatiebewuste Evaluatie van In-Vehicle Assistenten

Probleemstelling

De integratie van Large Language Models (LLM's) in Software-Defined Vehicles (SDV's) vormt een kritieke uitdaging: bestaande benchmarks prioriteren algemeen redeneren en kennis boven de specifieke sociolinguïstische en veiligheidsvereisten van automotive-deployments. In markten zoals Zuid-Korea, waar culturele context en taalkundige nuance van het grootste belang zijn, is standaardvertaling ontoereikend. Huidige evaluatiekaders falen in het adresseren van:

1. Fijngestructureerde Sociolinguïstische Controle: Het onvermogen van LLM's om consistent specifieke spreekniveaus (eerbetuigingen) te handhaven die vereist zijn voor een premium merkidentiteit en gebruikersvertrouwen.
2. Strategisch Dialoogbeheer: Het ontbreken van standaarden voor het evalueren van proactieve, veiligheidskritieke en contextbewuste interactiegedragingen in reële rijscenario's.
3. Implementatiegerichte Metrieken: Het ontbreken van evaluatiecriteria die efficiëntie, duidelijkheid en veiligheid in evenwicht brengen onder de cognitieve belastingsbeperkingen van het rijden.

Methodologie

De auteurs stellen LoCar (Localization-aware evaluation for Car assistants) voor, een kader specifiek ontworpen voor Koreaanse in-vehicle AI-systemen. De methodologie bestaat uit drie kerncomponenten:

1. Taxonomie en Constructie van Datasets

Het kader definieert een uitgebreide taxonomie die zich concentreert op twee primaire gebruiksscenario's: Car Expert (voertuigbediening, diagnose en kennis gebaseerd op handleidingen) en Navigatie (routeplanning en situational awareness).

• Datageneratie: Een synthetische dataset werd geconstrueerd met behulp van officiële eigenaarshandleidingen en navigatiemiddelen. Deze omvat 13 Key Performance Indicators (KPI's) georganiseerd in twee lagen:
  • Taalkundige Stijllayer: Evalueert Kortigheid en drie distincte eerbetuigingsregisters (Hae, Haeyo, Hapsyo).
  • Dialoogcompetentielayer: Evalueert Single-turn capaciteiten (Impliciet Begrip, Contextueel Begrip, Reactie op Schadelijke Vragen) en Multi-turn capaciteiten (Verduidelijking, Behoud, Verfijning, Reflectie, Proactiviteit, Probleemoplossing).
• Augmentatie: Alle instanties werden verrijkt met drie Koreaanse spreekniveaus om registerconsistentie te testen, resulterend in een dataset van meer dan 12.000 instanties.

2. Hybride Evaluatiepijplijn

Om een rigoureuze en betrouwbare beoordeling te garanderen, ontwikkelden de auteurs een geautomatiseerde pijplijn met behulp van een LLM-as-a-Judge paradigma, gekalibreerd tegen menselijke annotaties.

• Menselijke Kalibratie: Een "golden set" van 803 menselijk geannoteerde instanties werd gecreëerd, met drie annotatoren per steekproef. De inter-annotator overeenstemming (IAA) was matig tot substantieel voor de meeste metrieken, hoewel lager voor subjectieve taken zoals Verduidelijking.
• Hybride Eerbewijsverificatie: Met erkenning dat LLM's moeite hebben om morfologisch vergelijkbare Koreaanse eerbetuigingen te onderscheiden (bijv. Haeyo versus Hapsyo), integreert de pijplijn een regelgebaseerde morfologische suffixchecker naast contextuele LLM-redenering. Deze hybride aanpak verbeterde de overeenstemming tussen menselijke beoordelaars voor de classificatie van eerbetuigingen van 0,69 naar 0,94.
• Ensemble Beoordeling: Drie heterogene LLM's (Gemini-2.5-Flash, GPT-5-mini, DeepSeek-v3.1) werden geselecteerd op basis van hun consistentie met menselijke annotaties. Hun beslissingen worden geaggregeerd via meerderheidsstemming om model-specifieke bias te mitigeren.
• Gating Mechanisme: Een metriek voor "Betekenisvolle Informatie-inclusie" fungeert als poort; als een antwoord geen substantiële inhoud bevat, worden alle dialoogcompetentiemetrieken (behalve veiligheidsreacties) uitgesloten van scoring.

3. Experimentele Opstelling

Het kader werd toegepast om 11 state-of-the-art LLM's (inclusief Koreaans-ontwikkelde modellen en globale API's) te evalueren in single-turn en multi-turn scenario's. Modellen kregen de instructie om antwoorden te genereren in willekeurig toegewezen spreekniveaus, en naleving werd gemeten tegen de 13 KPI's.

Belangrijkste Resultaten

De evaluatie van 11 modellen onthulde duidelijke prestatiepatronen:

• Instabiliteit in Fijngestructureerde Eerbetuigingen: Ondanks over het algemeen hoge naleving van beleefde taal, verwarden modellen Haeyo en Hapsyo frequent. Dit geeft aan dat het handhaven van vaste, specifieke spreekniveaus een aanzienlijke taalkundige uitdaging blijft, zelfs wanneer algemene beleefdheid behouden blijft.
• Single-Turn versus Multi-Turn Dispariteit: Single-turn begripsmetrieken (Impliciet Begrip, Contextueel Begrip) naderden verzadiging bij alle modellen. Daarentegen vertoonden multi-turn strategische metrieken (Verduidelijking, Proactiviteit) aanzienlijk hogere variantie en lagere gemiddelde scores.
• Conservatieve Evaluatiebias: Het kader toonde een conservatieve houding in ambiguïteitsvolle scenario's. Voor strategische taken zoals Verduidelijking en Proactiviteit gaf het systeem de voorkeur aan strengere acceptatiecriteria, waarbij alleen interventies werden gevalideerd die hoge veiligheids- en contextuele zekerheidsstandaarden voldeden. Dit resulteerde in lagere recall voor deze metrieken in vergelijking met consistentie-gerichte taken zoals Behoud of Verfijning.
• Latentie versus Prestatie: Analyse toonde aan dat inferentielatentie niet consequent correleerde met superieure multi-turn strategische prestaties, wat suggereert dat modelgrootte alleen geen betere conversatiesturing garandeert.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Het LoCar Kader: De introductie van het eerste evaluatiekader en dataset voor het voertuigdomein dat gericht is op gelokaliseerde sociolinguïstische vereisten, met definitie van 13 KPI's om taalkundige realisatie en dialoogcompetentie systematisch te beoordelen.
2. Empirisch Bewijs van Instabiliteit: De demonstratie dat fijngestructureerde eerbetuigingscontrole instabiel is in huidige LLM's, met de nadruk dat precieze realisatie van spreekniveaus expliciet moet worden geëvalueerd in plaats van verondersteld.
3. Implementatiegerichte Evaluatiestrategie: De identificatie van een prestatiekloof in strategische dialoogvaardigheden, wat suggereert dat evaluatie op implementatieniveau een conservatieve bias vereist om betrouwbaarheid en veiligheid boven louter conversatievloeibaarheid te prioriteren.

De auteurs concluderen dat automotive AI moet evolueren van algemene competentie naar precieze taalkundige maatwerk en betrouwbare, veiligheidsgerichte interactiemanagement. Zij benadrukken dat evaluatie op implementatieniveau rekening moet houden met lokaal gecodeerde sociolinguïstische normen (zoals Koreaanse eerbetuigingen) en domeinspecifieke beperkingen (cognitieve belasting, veiligheid) om een cultureel resonante en veilige wereldwijde implementatie te waarborgen.

Beperkingen: De auteurs merken op dat het kader momenteel exclusief is voor de Koreaanse taal en markt, afhankelijk van morfologische suffixdetectie die niet direct overdraagbaar is naar talen met verschillende beleefdheidscodering. Bovendien wordt de evaluatie uitgevoerd in een offline, tekstgebaseerde setting, waarbij reële factoren zoals spraakherkenningsfouten en TTS-rendering worden uitgesloten.