論文要約：ベトナム語における小規模言語モデル（SLM）の推論ギャップをテスト時スケーリングで克服する

本論文は、リソース制約のあるデバイスでの AI 普及に向けた重要な課題である「小規模言語モデル（SLM）の推論能力の不足」、特にベトナム語のような非英語圏における「思考の連鎖（Chain-of-Thought）」の維持困難さを取り上げています。著者らは、Qwen3-1.7B（17 億パラメータ）という超小規模モデルに対し、ベトナム語の初等数学タスクにおいて、テスト時スケーリング（推論時の計算リソース増大）と教師あり微調整（SFT）を組み合わせることで、推論能力を劇的に向上させる手法を提案・検証しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 研究背景と問題定義

• スケーリング則とエッジ AI のジレンマ: 近年の NLP は大規模モデル（GPT-5.1 など）の性能向上に支えられていますが、モバイルや教育ツールなどエッジデバイスへの展開には、計算コストの観点から 70 億パラメータ未満、特に 20 億パラメータ未満の「マイクロ SLM」への関心が高まっています。
• 推論ギャップ（Reasoning Gap）: SLM は流暢な言語生成は得意ですが、多段階の論理的推論や数式処理において、思考の連鎖が途切れたり、計算ミス（ハルシネーション）を起こしたりする傾向があります。
• ベトナム語の特殊性: ベトナム語は低〜中リソース言語であり、複雑な代名詞体系、声調による意味変化、および数学用語（例：小数点の表記が「カンマ」であるなど）の文化的・言語的ニュアンスの差異により、既存の英語中心の推論手法をそのまま適用することが困難です。
• 研究課題:
  1. 大規模モデルから抽出された推論パターンを、17 億パラメータのモデルが学習できるか？
  2. 限られた計算能力において、構造化されたプロンプト（ReAct）と純粋な推論（CoT）のどちらが有効か？
  3. 低コストな「LLM-as-a-Judge」によるベトナム語数学推論の評価は可能か？

2. 提案手法と実験設計

A. データセットの構築：Vi-S1K と Vi-Elementary-Bench

• Vi-S1K（学習用）: 既存の「Simple Scaling S1K」データセット（Gemini Thinking からの推論トレースを含む）を、ベトナム語の教育課程に適合させるために独自に構築しました。
  • パイプライン: Gemini 2.5 Flash-Lite を活用し、単なる翻訳ではなく、文脈を考慮したプロンプトで数学的論理と LaTeX 形式を保持しつつ、ベトナム語の教育用語（例：「被除数」を「số bị chia」へ統一）や文化的文脈（通貨、固有名詞）を適応させました。
• Vi-Elementary-Bench（評価用）: ベトナム語の初等数学カリキュラムを網羅する 1,010 問の評価ベンチマークです。論理パズル、典型的な文章題、推理問題、数学詩、語彙テスト、多肢選択問題の 6 分類で構成されています。

B. モデルと微調整（SFT）

• ベースモデル: Qwen3-1.7B（36 兆トークンで事前学習された高密度トランスフォーマー）。
• 微調整手法: LoRA（Low-Rank Adaptation）を使用。Rank=64, Alpha=16, 学習率 2e-5, エポック 3 回で学習。Unsloth/HuggingFace TRL フレームワークを採用。
• 目的: モデルに「計算能力」そのものを教えるのではなく、答えを導くための「推論のプロトコル（ステップバイステップの説明）」を学習させること。

C. 推論戦略（プロンプティング）の比較

5 つの戦略をベトナム語で比較検証しました。

1. Zero-shot: 基本的な指示のみ。
2. Few-shot: 例題（3 例・5 例）を提示。
3. Chain-of-Thought (CoT): 「段階的に考えよう」という指示。
4. CoT Self-Consistency (CoT-SC): 複数の推論パス（k=3, 5）を生成し、多数決で回答を決定。
5. ReAct: 思考（Thought）、行動（Action）、観察（Observation）を交互に出力するフレームワーク（内部行動として定義）。

D. 評価プロトコル：LLM-as-a-Judge

• ジャッジモデル: Gemini 2.5 Flash-Lite を使用。
• 評価基準: 単なる正誤判定ではなく、以下の 5 次元で 1〜5 点のスコアリングを行いました。
  1. 正確性（Accuracy）
  2. 完全性（Completeness）
  3. 説明の質（Explanation Quality）
  4. 論理構造（Argumentation）
  5. 文化的・言語的適切性（Cultural/Linguistic Appropriateness）

3. 主要な結果

A. ベースモデル（微調整前）の性能

• 計算能力の潜在性: ベースモデル自体は、CoT 使用時に 4.05/5.0 の高い「正確性」を示しました。これは、事前学習データに豊富な数学的知識が埋め込まれていることを示唆します。
• 説明の欠如: しかし、「説明の質」や「完全性」は 2.6〜2.8 程度と低く、答えは合っても解説が不十分、または英語の用語が混在するなどの問題がありました。
• ReAct の失敗: 1.7B モデルにおいて ReAct は最も低いスコア（2.30）を示し、フォーマット維持の失敗が多発しました。

B. 微調整後（Post-SFT）の性能

• 「推論のロック解除」効果: SFT により、モデルは単なる計算機から「教育的なチューター」へと変容しました。
  • 説明の質: CoT 戦略において、スコアが +2.00 向上（2.60 → 4.60）。
  • 完全性: +1.70 向上。
  • 正確性: 微調整前と比較して +0.50 程度の向上にとどまりましたが、これはモデルが既に高い計算能力を持っていたためです。
• 最適戦略: CoT Self-Consistency (k=5) が最も高い総合スコア（4.69/5.0）を達成しました。これは、SLM の確率的な誤りを多数決で補正する効果を示しています。

C. ReAct の「認知税」

• 微調整後も ReAct は純粋な CoT（4.59）に劣る結果（4.11）となりました。
• 原因: 17 億パラメータという限られた注意容量において、「数学問題の解決」と「ReAct の厳格なフォーマット維持（Thought/Action/Observation の切り替え）」の二重タスクがモデルに過大な負荷（認知税）をかけ、計算プロセス自体がおろそかになる「コンテキストの混雑」が発生しました。

4. 主要な貢献

1. ベトナム語向け二重リソースベンチマークの構築: 学習用データセット「Vi-S1K」と評価用ベンチマーク「Vi-Elementary-Bench」を公開し、ベトナム語 SLM 研究の基盤を提供しました。
2. SFT による「推論のロック解除」の実証: 大規模モデルから抽出した推論パターンを SFT で小規模モデルに転移させることで、モデルの潜在能力を「教育的な説明能力」へと変換できることを示しました。
3. エッジ AI における推論戦略の階層化: 20 億パラメータ以下のモデルでは、複雑なエージェントワークフロー（ReAct）よりも、単純化されたテスト時スケーリング（CoT + Self-Consistency）の方が効率的かつ高精度であることを実証しました。

5. 意義と結論

本論文は、リソース制約のある環境（エッジデバイス）でも、適切な微調整とテスト時スケーリングを組み合わせることで、小規模言語モデルが高度な推論タスク（特に教育分野）を実行可能であることを示しました。

• 実用的示唆: 教育用 AI やモバイルアプリへの展開においては、複雑なエージェント構造を採用するのではなく、**「SFT による推論プロトコルの学習」＋「CoT と Self-Consistency の組み合わせ」**が最適解であることが明らかになりました。
• 将来展望: 自己一貫性のコスト削減のための検証モデルの導入、幾何学問題への拡張、およびモバイル NPU への量子化（INT4）展開への応用が今後の課題として挙げられています。

この研究は、低リソース言語における AI の民主化と、エッジデバイスにおける実用的な AI 推論の実現に向けた重要な一歩です。