When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

第二言語学習の世界において、教師や研究者は、学生がどの程度文章を書けているかを理解するために、長らく3つの枠組みに依拠してきました。彼らは、文構造がいかに複雑で多様であるかを示す「複雑性（complexity）」、文法的な誤りがどれほど少ないかを測る「正確性（accuracy）」、そして一つの思考単位の中にどれだけの単語が生成されているかを数える「流暢性（fluency）」に着目してきました。数十年の間、これらの特性を測定するには、人間の専門家がすべての文章を読み、節の数を数え、あらゆる誤りに印をつける必要があり、そのプロセスは遅く、費用がかかり、一貫した再現が困難なものでした。現在、人工知能が新たな可能性を提示しています。エッセイを書いたり質問に答えたりすることができる強力なコンピュータシステムである大規模言語モデルは、これらの言語的特徴を即座に数えるよう指示することもできるのです。しかし、決定的な疑問が残っています。コンピュータがエッセイの一般的な順位付けにおいて人間と一致しているとしても、それは実際に同じ数値を出力しているのでしょうか。もし教師がこれらの数値を用いて学生の経時的な進歩を追跡している場合、コンピュータによるわずかな、かつ一貫した計数ミスが、学生が向上しているのか、あるいは苦戦しているのかという結論について、全く誤った判断を導き出してしまう可能性があるのです。

イランのマラーゲ大学の研究チームは、6つの異なる公開人工知能システムを人間の専門家と比較検証することで、この問いに答えるべく取り組みました。彼らは、45人の大学生が書いた90編の論説エッセイを集めました。各学生は、ソーシャルメディアに関する同じトピックについて、2週間の間隔を空けて2編のエッセイを執筆しました。まず人間の専門家がすべてのエッセイを読み、厳格な規則に基づいて、複雑性、正確性、流暢性の単一の数値セットについて合意しました。その後、研究者たちは、ChatGPTやGeminiなどの有名なシステムを含む6つの異なるAIモデルに、全く同じエッセイを入力し、同じ厳格な規則を適用してカウントを返すよう指示しました。目的は、AIが優れたエッセイを書けるかどうかを見ることではなく、人間が計算するのと全く同じ値を複製できる、精密な測定ツールとして機能するかどうかを確認することでした。

結果は、AIと人間が合意している内容と、実際に測定された内容との間に、驚くべき乖離があることを明らかにしました。すべてのAIモデルは、人間のスコアと強い相関関係を示しました。つまり、人間があるエッセイを高い複雑性と評価した場合、AIもそれを高いと評価したのです。これは、コンピュータがエッセイの相対的な順序を理解することには長けていることを意味します。しかし、研究者が実際の数値に目を向けると、コンピュータはしばしば特定の方向で誤っていました。文の中にどれだけの節が詰め込まれているかを数える「複雑性」の尺度については、6つのモデルのうち5つが、一貫して値を過小評価していました。彼らは、人間よりも複雑な構造を少なく見ていたのです。これはランダムな間違いではなく、モデルが学生の文章の入り組んだ部分を見落としているという、系統的なバイアスでした。対照的に、モデルは「正確性」の測定においてはるかに優れていました。彼らは、ある文に文法的な誤りが含まれているかどうかを確実に識別でき、その数値は人間のカウントに非常に近いものでした。

また、この研究は、モデルが学生の文章の変化を時間の経過とともにどの程度検出できるかについても調査しました。学生は2編のエッセイを書いていたため、研究者はAIが人間が見出したのと同じ変化を検知できるかどうかを確認できました。人間の専門家は、2編目のエッセイにおいて、学生たちが文法的な誤りを大幅に減らした一方で、より短く、複雑さに欠ける文章を書いていたことを見出しました。AIモデルは、正確性と流暢性についてはこのパターンをうまく模倣し、学生たちがミスを減らし、一文あたりの単語数が減少したことを正しく特定しました。しかし、複雑性に関しては、モデルは一貫性を欠いていました。一部のモデルは複雑性の低下に全く気づかず、他のモデルは変化を小さすぎると判断しました。このことは、AIが大規模な学生グループの一般的な傾向を把握するのには有用かもしれないものの、人間の監視なしに、文構造の詳細な分析に必要な正確な数値を提供することを、現時点ではまだ信頼できないことを示唆しています。

テストされた6つのシステムの中で、「DeepSeek」と呼ばれるモデルが、3つのカテゴリーすべてにおいて他のモデルよりも正確性のバランスを最も良く保ち、全体として最高のパフォーマンスを示しました。また、ChatGPTは正確性の測定において特に強力でした。しかし、研究者たちは、あらゆるタスクに対して完璧な単なる一つのモデルは存在しないことを強調しました。AIの性能は、まさに何を測定しようとしているかに大きく依存します。誤りの数を数えることに長けたモデルが、文構造を数えることには劣っている可能性があるのです。この発見は、人間と機械のスコアの間に高い相関関係があるからといって、両者が互換可能であるという考えに異を唱えるものです。これは、人工知能を用いた言語評価には、そのツールが求められている特定の仕事に対して検証されていることを確認する、注意深く具体的なアプローチが必要であることを示唆しています。

最終的に、本研究は、これらの強力なコンピュータシステムは、この特定の分野においては貴重な助手ではあるものの、人間の判断に取って代わるものではないと結論付けています。それらは大量の文章を迅速にスキャンして、一般的なパターンを見つけたり、精査が必要なエッセイをフラグ立てしたりすることはできます。しかし、精密な測定、特に文構造の複雑性に関しては、それらが生成する数値は依然として人間の基準に照らしてチェックされる必要があります。この研究は、自動化された言語分析を追求するにあたって、「同じ方向に動くこと」と「同じ数値に到達すること」の違いが、研究者や教師が念頭に置いておくべき極めて重要な区別であることを浮き彫りにしています。