技術サマリー：LoCar – 車載アシスタントのローカライゼーション対応評価

問題提起

ソフトウェア定義車（SDV）への大規模言語モデル（LLM）の統合は、重要な課題を提起しています。既存のベンチマークは、自動車分野での展開に必要な特定の社会言語学的および安全性要件よりも、一般的な推論や知識を優先しています。文化的文脈と言語的ニュアンスが極めて重要な韓国のような市場では、標準的な翻訳では不十分です。現在の評価フレームワークは、以下の点を対応できていません：

1. 微細な社会言語的制御: プレミアムブランドのアイデンティティとユーザーの信頼に必要な特定の敬語レベル（敬称）を LLM が一貫して維持できないこと。
2. 戦略的対話管理: 実世界の運転シナリオにおける、先行的で安全上重要かつ文脈を認識した相互作用行動を評価する基準の欠如。
3. 展開指向の指標: 運転時の認知的負荷制約下で、効率性、明確性、安全性のバランスを取る評価基準の不在。

手法

著者は、韓国の車載 AI システム向けに特別に設計されたフレームワーク「LoCar（車載アシスタントのためのローカライゼーション対応評価）」を提案します。この手法は、以下の 3 つの中核コンポーネントで構成されます。

1. データセット分類と構築

このフレームワークは、「車専門知識（車両操作、診断、マニュアルベースの知識）」と「ナビゲーション（経路計画と状況認識）」という 2 つの主要ユースケースを中心に包括的な分類を定義します。

• データ生成: 公式のオーナーマニュアルとナビゲーションリソースを使用して合成データセットが構築されました。これには、2 つのレイヤーに整理された 13 の重要業績評価指標（KPI）が含まれます：
  • 言語スタイル層: 簡潔性 と 3 つの異なる敬語レジスター（ハエ、ヘヨ、ハプシヨ）を評価します。
  • 対話能力層: 単発ターン 能力（暗黙的理解、文脈理解、有害な質問への対応）と マルチターン 能力（明確化、保持、洗練、反映、先行的対応、トラブルシューティング）を評価します。
• 拡張: すべてのインスタンスは、レジスターの一貫性をテストするために 3 つの韓国語敬語レベルで拡張され、12,000 件以上のインスタンスからなるデータセットが作成されました。

2. ハイブリッド評価パイプライン

厳密で信頼性の高い評価を確保するため、著者は人間の注釈に対して較正されたLLM を裁判官として活用するパラダイムを用いた自動化パイプラインを開発しました。

• 人間による較正: 1 サンプルあたり 3 人の注釈者による、803 件の人間注釈インスタンスの「ゴールデンセット」が作成されました。インタアノテーター一致率（IAA）は、明確化のような主観的タスクでは低かったものの、ほとんどの指標において中程度から substantial（実質的）でした。
• ハイブリッド敬語検証: LLM が形態的に類似した韓国語の敬語（例：ヘヨ と ハプシヨ）を区別するのが困難であることを認識し、パイプラインは文脈的 LLM 推論に加えてルールベースの形態接尾辞チェッカーを統合しました。このハイブリッドアプローチにより、敬語分類における人間裁判官との一致率は 0.69 から 0.94 に向上しました。
• アンサンブル判定: 人間の注釈との一貫性に基づき、3 つの異種 LLM（Gemini-2.5-Flash、GPT-5-mini、DeepSeek-v3.1）が選択されました。モデル固有のバイアスを軽減するため、その決定は多数決によって集約されます。
• ゲーティング機構: 「意味のある情報の包含」指標がゲートとして機能します。応答に実質的な内容が欠如している場合、安全性対応を除くすべての対話能力指標は採点から除外されます。

3. 実験設定

このフレームワークは、単発ターンおよびマルチターンシナリオにおいて、11 の最先端 LLM（韓国開発モデルおよびグローバル API を含む）を評価するために適用されました。モデルには、ランダムに割り当てられた敬語レベルで応答を生成するよう指示され、13 の KPI に対する準拠度が測定されました。

主要な結果

11 モデルの評価により、明確なパフォーマンスパターンが明らかになりました：

• 微細な敬語における不安定性: 丁寧な話し方への全般的な高い準拠にもかかわらず、モデルは頻繁にヘヨとハプシヨを混同しました。これは、一般的な丁寧さが維持されていても、固定された特定の敬語レベルを維持することが依然として重大な言語的課題であることを示しています。
• 単発ターン対マルチターンの格差: 単発ターンの理解指標（暗黙的理解、文脈理解）はモデル間で飽和に近づきました。一方、マルチターンの戦略的指標（明確化、先行的対応）は、はるかに高い分散と低い平均スコアを示しました。
• 保守的な評価バイアス: このフレームワークは、曖昧なシナリオにおいて保守的な姿勢を示しました。明確化や先行的対応などの戦略的タスクでは、システムはより厳格な受入基準を好み、高い安全性と文脈的確実性の基準を満たす介入のみを検証しました。その結果、保持や洗練のような一貫性指向のタスクと比較して、これらの指標の再現率は低くなりました。
• レイテンシ対パフォーマンス: 分析により、推論レイテンシが一貫して優れたマルチターン戦略的パフォーマンスと相関しないことが示されました。これは、モデルサイズだけでは対話の誘導が向上する保証がないことを示唆しています。

意義と貢献

本論文は、以下の 3 つの主要な貢献を主張しています：

1. LoCar フレームワーク: ローカライズされた社会言語的要件を対象とした、初の車載ドメイン評価フレームワークおよびデータセットの導入。言語実現と対話能力を体系的に評価するための 13 の KPI を定義しました。
2. 不安定性の実証的証拠: 微細な敬語制御が現在の LLM で不安定であることを実証し、正確な敬語レベルの実現は仮定されるのではなく、明示的に評価されなければならないことを浮き彫りにしました。
3. 展開指向の評価戦略: 戦略的対話能力におけるパフォーマンスギャップを特定し、展開レベルの評価では、単なる対話の流暢さよりも信頼性と安全性を優先するために、保守的なバイアスが必要であることを示唆しました。

著者は、自動車 AI が一般的な能力を超えて正確な言語的調整と信頼性が高く安全志向の相互作用管理へと進化しなければならないと結論付けています。彼らは、展開レベルの評価が、文化的に共鳴し安全なグローバル展開を確保するために、ローカルにエンコードされた社会言語的規範（韓国の敬語など）とドメイン固有の制約（認知的負荷、安全性）を考慮しなければならないことを強調しています。

限界: 著者は、このフレームワークは現在、韓国語と韓国市場に限定されており、異なる丁寧さのエンコーディングを持つ言語には直接転用できない形態接尾辞検出に依存していると指摘しています。さらに、評価はオフラインのテキストベースの環境で行われており、音声認識エラーや TTS レンダリングなどの実世界の要因は除外されています。