Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

言語学習の世界において、学術的なエッセイを書くことは複雑な行為です。それは単に単語の綴りを正しくしたり、文法的な誤りなく文章を並べたりすることだけではありません。成功するためには、学生は強力なアイデアを構築し、それらのアイデアをスムーズに結びつけてテキストを論理的に流し、そして学術的な対話にふさわしい真剣で客観的な期待に沿ったトーンを採用しなければなりません。何十年もの間、教師たちはこれらのエッセイを公平かつ一貫して採点することに苦心してきました。人間の判断は価値がありますが、速度が遅く、コストがかかり、疲労の影響を受けやすいため、同じ作品に対して教師によって異なるスコアをつけてしまうことがあります。このことが、文章を自動的に読み取り、採点できるコンピュータへの需要を生み出しました。

近年、大規模言語モデルとして知られる強力な人工知能システムが登場しました。これらは、会話をしたり、物語を書いたり、質問に答えたりすることができるものと同じ種類のテクノロジーです。これらは人間の言語を非常にうまく理解できるため、研究者たちは、これらが人間と同じように学生のエッセイを採点する、公平で正確な教師として機能できるのではないかと考え始めました。その希望は、これらの機械が何千人もの学生に対して即座にフィードバックを提供できるというものでした。しかし、一つの決定的な疑問が未解決のまま残っていました。すなわち、これらの機械は実際に何が良い文章であるかを理解しているのか、それとも単に正解らしく見える数字を推測しているだけなのか、ということです。このことを確かめるために、研究者のペガ・メリキ（Pegah Merrikhi）は、現在利用可能な最も高度な3つのAIシステムを、人間の判断というゴールドスタンダード（標準指標）に対してテストすることに乗り出しました。

この研究は、LICAと呼ばれる特定のフレームワークに焦点を当てており、これはエッセイの質を4つの異なる部分に分解するものです。第一の部分は「言語（Language）」であり、文法と語彙を見ます。第二は「アイデア（Ideas）」であり、議論がいかに深く、十分に裏付けられているかを測定します。第三は「結束性（Cohesion）」であり、文や段落がいかにうまく結びついているかを確認します。最後の部分は「学術的適切性（Academic Appropriateness）」であり、それがカジュアルな会話ではなく、真剣な学者が話しているような響きを持っているかどうかを判断します。研究者は、第二言語学習者が書いた5つのエッセイを取り上げ、3つの異なるAIシステム（GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro）に対し、これら4つの尺度に基づいて各エッセイを採点するよう求めました。同時に、人間の専門家が「正解」となるスコアを提供しました。目的は、機械が人間の専門家とどの程度一致するか、そしてそれらが互いにどのように比較されるかを見ることでした。

結果は、この特定の小規模なテストにおける驚くべき精密さと、明確な個性の混在という物語を明らかにしました。一つのAIシステムであるGPT-4oは、この予備的なキャリブレーションに使用された5つのエッセイにおいて、完璧な精度を発揮しました。この特定のサンプルにおいて、あらゆるエッセイおよびあらゆるカテゴリーにおいて人間の専門家のスコアと正確に一致し、限定されたデータセットに対して人間の専門家の判断を事実上再現しました。二つ目のシステムであるClaude 3.5 Sonnetも、人間の専門家に非常に近いものでしたが、少し寛容すぎる傾向が見られました。アイデアの流れや学術的なトーンを採点する際、人間の専門家がつけるよりもわずかに高いスコアを付けていました。間違いではありませんでしたが、わずかに寛容でした。

三つ目のシステムであるGemini 1.5 Proは、異なるパターンを示しました。段落がいかにうまくつながっているかを判断することには非常に優れていましたが、人間の専門家よりも厳格になる傾向がありました。学生のアイデアの深さや学術的なトーンの適切性を評価する際、人間の専門家よりも明らかに低いスコアを付けていました。これは、この機械が文章の構造を捉えることはできても、内容や書き手の「声」に対しては厳しくなることを示唆しています。

おそらく最も示唆に富む発見は、機械が人間とどのように比較されるかではなく、機械同士がどのように比較されるかについてでした。3つのAIシステムは、人間の助けなしにエッセイを採点した際、言語の技術的な側面やテキストの流れについてはほぼ完璧に一致しました。しかし、学術的なトーンやアイデアの質を判断することになると、互いに意見が合わないことに苦慮しました。文章が大学の設定にふさわしい響きを持っているかという問いに対して、機械たちはしばしば意見が分かれ、あるものは寛容で、別のものは厳格でした。これは、これらのシステムが文法や構造を見抜くことには優れている一方で、何が学術的な議論を正しく感じさせるかについて、単一の統一された理解をまだ共有していないことを示しています。

本研究は、これらの人工知能ツールは有用であるほど強力ではあるものの、人間の教師を完全に代替できる段階にはまだない、と結論付けています。これらは採点の機械的な部分を非常に速く正確に処理できますが、学術的な文章における微妙な社会的・文化的ニュアンスを判断するために必要な、一貫した人間の直感をまだ欠いています。研究者は、最適なアプローチは、これらの機械をフィードバックの初稿を提供するアシスタントとして使い、特に執筆のより複雑な側面については、最終的な判断を下すために人間の教師をプロセスに組み込み続けることであると提案しています。これにより、人間による理解の深さを失うことなく、自動化によるスピードを学生に提供することが可能になります。