Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing

技術要約：AIベースの翻訳における評価的判断

問題提起
翻訳技術の教育は、手順的なツールの操作から、人間の主体性、データへの意識、および倫理的意思決定を含むクリティカルなAIリテラシーを必要とするモデルへと、ますますシフトしている。この領域における中心的な課題は、生成AI（GenAI）や大規模言語モデル（LLM）が、流暢で一貫性のある出力を生成する一方で、用語の不正確さ、適切性の欠如、あるいは文体上の不備を孕んでいる場合があることである。したがって、翻訳者教育は、学生に「出力を生成する方法」を教える段階を超え、彼らを「品質の裁定者」として訓練する段階へと移行しなければならない。本研究が扱う具体的な教育学的問題は、LLM、ニューラル機械翻訳（NMT）システム、および人間による翻訳を比較する教室環境において、「評価的判断（evaluative judgement）」、すなわち、翻訳の品質について根拠に基づいた情報提供型の意思決定を行い、その決定を正当化する能力をどのように育成するかである。

方法論
本研究は、探索的な質的ケーススタディ・デザインを用い、記述的な量的サポートを組み合わせ、Universitat Pompeu Fabraの第4学年機械翻訳・ポストエディットコース（2025–2026年度）における23件の匿名化された学生プロジェクトを分析した。

• 課題設計: 学生は以下の多段階のワークフローを完了した：
  1. 特殊な英語のWikipediaテキスト（約300語）をカタロニア語またはスペイン語へ、人間による翻訳を行う。
  2. 4つの機械翻訳出力を生成する：2つはLLMベースのシステムを使用し、残り2つはNMTシステムを使用する。
  3. MATEO環境を通じて、自動評価指標（COMET, BLEU, TER, ChrF）を用いて出力を評価する。
  4. 適切性と流暢さに焦点を当てた人間による評価（4段階尺度）およびセグメントレベルの誤り注釈を行う。
  5. 出力の中から1つを選択してポストエディットを行い、その選択理由をレポートに記述する。
  6. 選択したバージョンに対してポストエディットを実行する。
• データ分析: 分析は、レポートが伴う22件のケースに焦点を当てた。データソースには、マスターコーディング表（指標、システムの選択、誤りのカテゴリーを集計したもの）と、レポートの質的内容が含まれる。
• コーディング戦略: ハイブリッドなアプローチを採用した。演繹的なカテゴリー（適切性、流暢さ、ポストエディットの労力）は課題設計から導き出され、帰納的なサブテーマ（用語の不安定性、構文の自然さ）はレポートから抽出された。レポートは、決定を正当化するために用いられた証拠（指標、人間による評価、誤り分析）の三角測量に基づき、評価的判断の順序尺度（低から高まで）によって格付けされた。

主な結果

• 指標と人間の選択の乖離: 自動評価指標は最終的な選択を決定づけなかった。22件のレポートに基づくケースのうち10件において、自動指標によって最高ランクとされたシステムは、ポストエディットのために選択されたものではなかった。例えば、ChatGPTが最も頻繁な「自動的な勝者」（9ケース）であった一方で、DeepLが最も頻繁に最終選択された（10ケース）ことが示された。
• 評価的判断の性質: 大多数のレポート（22件中16件）が「高い」または「中程度から高い」評価的判断を示した。学生は指標のスコアだけに頼るのではなく、適切性、流暢さ、用語、自然さ、および予想されるポストエディットの労力を含む多角的な評価に基づいて選択を正当化した。
• 誤りのパターン: 学生の注意は、表面的な流暢さでは見落とされることが多い専門的な問題に集中していた。最も頻繁に特定された誤りのカテゴリーは、用語／語彙（19件）、適切性／意味転送（15件）、構文／カルク（14件）、および自然さ／スタイル（14件）であった。
• 決定基準としてのポストエディットの労力: 重要な知見として、学生は、たとえ別のシステムが自動指標で高いスコアを獲得していたとしても、より深刻な書き換えや修正を必要としない、あるいはよりローカライズされた修正が可能である方の出力を頻繁に選択していた。これは、ワークフローを意識した意思決定へのシフトを示している。
• AIリテラシーの開発: 学生は、異なるシステムが部分的な強みを提供していることを認識し、条件付きのアプローチを示した。一部のレポートでは、あるシステムがポストエディットのために選択された一方で、他のシステムからの洞察が最終的な理解に寄与したことが明記されていた。

主な貢献

1. 教育設計: 本論文は、人間による翻訳、マルチシステム比較（LLMとNMT）、自動および人間による評価、そして結果としてのポストエディットの決定を組み合わせた、統合的な教室ワークフローを提示している。この設計は、学生にAIの出力を完成品として扱うのではなく、異なる形態の証拠を整合させることを強いるものである。
2. 推論のエビデンス: 本研究は、学生がどのようにシステムの選択を正当化するかについての質的な証拠を提供している。これは、学生が自動指標を覆し、ドメイン固有の適切性やポストエディットの効率性を優先するように訓練可能であることを示している。
3. 評価的判断の操作化: 本論文は、評価的判断を抽象的な概念としてではなく、テキストのタイプ、ドメイン、および品質要件に基づいてAIツールの依存度を調整することを学ぶ、AIリテラシーの実践的な構成要素として扱うことを主張している。

意義と主張
本論文は、その主要な貢献は技術的なベンチマークではなく、教育的なものであると控えめに主張している。LLMやNMTがカテゴリー的に優れていると断言するのではなく、学生の好みがテキストに依存しており、特定の基準（用語、自然さ、労力）によって正当化されていることを示している。

その意義は、構造化された比較タスクが、翻訳者教育において批判的、反省的、かつ職業的に関連のある判断を効果的に育成できることを実証している点にある。指標の解釈、誤り注釈、および正当化レポートを通じて、学生に「自身の推論の痕跡」を残させることで、この課題は学生を単なる「品質の裁定者」として位置づけている。これは、学生を受動的なツール利用者から、AIを介した翻訳における介入の時期や方法について責任ある決定を下せる、批判的な比較検討者へと移行させるという、より広範な教育目標を支持するものである。本研究は、プロフェッショナルな翻訳ワークフローにおけるGenAIのリスクと可能性をナビゲートするために必要な「人間の主体性」を養う上で、このようなタスクが不可欠であると結論付けている。