So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis
本研究は、自由記述式のアンケート回答を分析するにあたっての大規模言語モデル（LLM）と従来の機械学習との比較を行い、LLMは複雑なテーマや感情の理解において優れた分類精度を実現する一方で、その推論における一貫性と説明可能性に関して重大なトレードオフを提示していることを見出した。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何千もの学生からの手紙が入った巨大な箱を想像してみてください。それらはすべて、学生自身の乱れた、感情のこもった筆跡で書かれています。あるものは嬉しそう、あるものは怒っており、あるものは皮肉っぽく、またあるものはただ単に混乱しています。あなたの仕事は？そのすべてを読み、それらを「喜び」「驚き」「愛」「怒り」「悲しみ」「恐怖」という6つの感情のビンに分類することです。
長い間、研究者たちは「オールドスクール（旧来型）」のコンピュータプログラムを使ってこれを行おうとしてきました。これらのプログラムは、特定の単語を数えることしか知らない、非常に厳格な司書のようなものです。もし司書が「great（素晴らしい）」という単語を見つけたら、その手紙に「喜び」のステッカーを貼ります。もし「bad（悪い）」という単語を見つけたら、「悲しみ」のステッカーを貼ります。これは速い方法ですし、なぜ司書がその選択をしたのか、その理由を正確に把握できます。しかし、ここには問題があります。これらの司書は簡単に騙されてしまうのです。彼らは皮肉を見逃したり、感謝の言葉の裏に隠された疲労感を見逃したり、あるいは丁寧な言葉を使っていながら、実は学生が激怒しているといった微妙なヒントを見落としたりします。
この研究において、研究者たちは新しい助っ人チーム、すなわち**大規模言語モデル（LLM）**をテストすることに決めました。これらは、インターネット上のほぼすべての文章を読み込んできた、非常に賢く博識なロボットだと考えてください。厳格な司書とは異なり、これらのロボットは個々の単語を数えるのではなく、文章の「雰囲気（バイブス）」や「文脈」を理解しようとします。
大対決
研究者たちは、これら2つのチームを、2019年と2021年の実際の学生の調査データ（2021年から293通、2019年から142通）を用いて戦わせました。彼らはロボットに新しいことを教えたわけではありません。ただ、単純な指示、すなわち「ゼロショット」プロンプティングと呼ばれる手法を使って、手紙を分類するように求めただけです。
オールド・リブラリアン（旧来の司書）たちの動き
従来のコンピュータモデル（サポートベクター分類器やランダムフォレストなど）は、特定の例で訓練されていれば、手紙の分類において良好な成績を収めていました。彼らは練習テストで約**90%**の精度を出していました。しかし、現実の、とりとめもない学生の手紙に直面すると、彼らは少しおかしくなり始めました。
- 2019年のバッチでは、あるモデルが手紙の**99.3%**を「喜び」と判断しました。つまり、他のすべての感情を無視してしまったのです！
- 2021年のバッチでは、モデル同士が激しく意見を食い違いました。あるモデルは一つの手紙を「愛」だと考え、別のモデルは「悲しみ」だと考えました。
- 研究者たちは、これらの古いモデルが特定の単語（「great」や「good」など）に敏感すぎ、人間の言語のトリッキーな側面を扱えないことを発見しました。彼らは脆（もろ）く、データが少しでも変わると、その分類は崩壊してしまいました。
新しいロボットたちの動き
LLMのチーム（GPT-4-Turbo、Claude 3.5、MetaのLLaMA 3、Perplexity Sonar Proを含む）は、異なるアプローチを取りました。彼らは単に単語を数えるのではなく、感情を理解しようとしたのです。
- 彼らは互いに一致した： 4つの異なるロボットが同じ手紙の束を見たとき、彼らはほとんどの場合、同じように分類しました。例えば、2021年のデータでは、4つのロボットすべてが「怒り」の数（46通）について正確に一致しました。
- ニュアンスを扱った： 彼らは、学生が皮肉を言っている場合や、「ありがとう」という言葉に実は疲労感が滲み出ている場合など、複雑な感情を察知することに非常に長けていました。
- 数字： 文献には、ロボットの単一の「精度スコア」は記載されていません（比較するための人間の正解集が存在しないため）。しかし、彼らの一貫性は、このような雑多で現実世界のデータに対して、彼らが古いモデルよりもはるかに信頼できることを示唆しています。
落とし穴
ロボットは完璧な魔法使いではありません。研究者は注意すべき点をいくつか指摘しています。
- 「愛」のグリッチ（不具合）： 4つのロボットすべてが、「喜び」よりも多くの手紙を「愛」として分類する傾向がありました。研究者は、これはロボットがソーシャルメディアから学習しているためではないかと推測しています。そこでは、人々は深いロマンチックな感情ではなく、「このクラスが大好き（really like it）」という意味で「I love this class!」と言うからです。
- ブラックボックス： 旧来の司書とは異なり、ロボットがなぜその選択をしたのか、その理由を常に把握できるわけではありません。彼らの仕事を監査することはより困難です。
- コストとアップデート： これらのロボットを動かすにはコストがかかりますし、メーカーは頻繁にアップデートを行います。もし来年、同じプロンプトを実行したとしても、ロボットが「新しいバージョン」であるために、少し異なる回答を出す可能性があります。
結論
この研究は、もしあなたが何千もの自由記述形式の学生の回答を分析したいのであれば、新しいAIロボットの方が優れたツールであることを示唆しています。彼らは、言語の複雑な人間的側面を理解することにおいて、より優れており、異なる学生グループ間でも一貫性があります。
しかし、研究者たちはこれが「解決済み」の問題であるとは言っていません。彼らは、高い利害関係が絡む決定（学校のポリシー変更など）を行う場合は、最善のアプローチは共同作業であると示唆しています。つまり、ロボットに手紙を分類するという重労働をさせつつ、ロボットが皮肉やバイアスに騙されていないかを確認するために、人間がその作業をチェックさせるという方法です。これは学生の声に耳を傾けるための強力な新しい方法ですが、依然として人間の手による制御が必要です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。