MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

人間の言語という広大な風景の中には、単に「事実であること」と「事実であると感じられること」との間に、絶え間ない緊張関係が存在します。数十年にわたり、自然言語処理の分野で働く科学者たちは、コンピュータに事実の記述と個人の意見の表明を区別させる方法を試みてきました。主観性検出として知られるこのタスクは、ニュース記事の分類から世論の理解に至るまで、あらゆる場面で極めて重要です。しかし、従来のプローチは往々にして単純すぎ、文章を「客観的」か「主観的」かの二値的なスイッチとして扱ってきました。実際には、人間のコミュニケーションがこれほど白黒はっきりしていることは稀です。ニュース報道は事実を述べていながら、ジャーナリストの視点によって微妙にフレーミング（枠付け）されていることがあり、科学論文は厳然たるデータを提示しながらも、将来の可能性を記述するために慎重な言葉遣いを用いることがあります。課題は、表面上は中立的に見える言葉の中に、著者の「指紋」が隠されているような、この流動的な中間領域をどのように捉えるかにあります。

スペインのアリカンテ大学の研究チームは、MUESCAと呼ばれる新しいリソースを構築することで、このパズルを解くための重要な一歩を踏み出しました。テキストを硬直した箱の中に押し込めるのではなく、彼らは主観性をスライディングスケール、すなわち連続体として扱うデータセットを構築しました。そのために、彼らは性質の異なる3つの文章タイプを集めて分析しました。最も客観的なスペクトルの端にある「科学論文」、最も主観的な端にある「消費者レビュー」、そして「混沌としたハイブリッドな中間」に位置する「ニュース記事」です。異なるジャンルにおいて著者がどのような言語的ツール（確信を示す言葉、疑念を示すフレーズ、あるいは個人的な関与を明らかにする代名詞など）を使用しているかを調査することで、研究者たちは、書き手の「声」がこれらのスタイル間でどのように変化するかを正確にマッピングしました。彼らの研究は、テキストの中に潜む人間の著者の不可視の存在を測定する新しい方法を提供し、コンピュータが人間の表現という複雑な世界を航行するための、より微細な地図を描き出しています。

このプロジェクトの核心は、135の文書から抽出された1,865の文章のコレクションであるMUESCAコーパスです。研究者たちは単にこれらの文章を集めただけではありません。著者が自身の主張に対してどの程度コミットしているかを示す特定の文法的・語彙的特徴を、細心の注意を払ってアノテーション（注釈付け）しました。彼らはこれらのシグナルを、「高い著者コミットメント」と「低い著者コミットメント」という2つの主要なグループに分けました。「高いコミットメント」には、未来時制の使用や事実としての断定など、確信を示すマーカーが含まれます。また、「私（I）」や「私たち（we）」のような、参加を示すマーカーも含まれます。「低いコミットメント」には、接続法や「おそらく（maybe）」といった言葉などの疑念を示すマーカーや、動作の主体を隠すための受動態のような、距離を置くためのマーカーが含まれます。これらの特徴をカウントすることで、研究チームは、科学論文が特定のデータや非個人的な構造に依存する傾向がある一方で、レビューが個人の意見や直接的な関与に満ちていることを明らかにできました。予想通り、ニュース記事はその両方の混合物を示し、ハイブリッドなジャンルとしての地位を裏付けました。

研究結果の堅牢性を確保するため、研究者たちは、これらの言語的マーカーが実際にコンピュータが異なる種類の文章を区別するのに役立つかどうかをテストしました。彼らは、テキストを「客観的」「ハイブリッド」「主観的」のカテゴリーに分類するように機械学習モデルを訓練しました。モデルに生のテキストのみを与えた場合、モデルは合理的な性能を示しましたが、研究者が彼らのアノテーションスキームに基づく特定の語用論的マーカーを加えると、モデルの性能は大幅に向上しました。最も効果的な特徴の組み合わせは、具体性と確信の度合いを測定することでした。このアプローチにより、コンピュータは単にテキストが何についてであるかだけでなく、著者がその情報をどのように提示しているかを理解することが可能になりました。結果は、事実と解釈が混在しているため分類が最も難しいとされるニュースのジャンルにおいて、特に顕著でした。これらの語用論的マーカーを使用することで、モデルはジャーナリストが物語をフレーミングする際の微妙な手法を見抜く能力を向上させました。

研究者たちはまた、これらの人間が設計したルールが現代の人工知能とどのように併用できるかについても探求しました。彼らは、膨大な量のスペイン語テキストで学習されたBETOと呼ばれる強力な言語モデルと、彼ら独自のマーカーを組み合わせました。この高度なモデルはすでに言語を理解する上で非常に優れていましたが、特定の主観性マーカーを追加してもなお、性能が向上しました。パーセンテージとしてはわずかな改善でしたが、統計的に有意であり、これは、著者によるコミットメントに関する明示的なルールが、純粋な統計的パターンでは見落とされる曖昧さを解決するのに役立つことを示唆しています。これは、モデルが疑念や確信の具体的な言語的シグナルを認識できるようになった際に、ニュース記事の精度が向上したことからも、特に顕著です。この研究は、大規模なAIモデルは強力ではあるものの、人間がいかにして議論を構築し、信念を表現するかという構造化された理解を依然として必要としていることを裏付けています。

この研究において最も示唆に富む側面の一つは、ニュースというジャンルが他の2つの極端な例と対峙したときにどのように振る舞ったかという点です。研究者がニュースと科学論文を区別するようにモデルをテストした際、モデルは両者を区別することを比較的容易だと判断しました。しかし、ニュースと消費者レビューを区別させるという課題においては、より困難なものとなりました。これは、ジャーナリズムの言語が、その中立的な評判にもかかわらず、科学の離脱した言語よりも、個人の意見記事に近い語用論的なDNAを共有していることを示唆しています。ニュース記事には、レビューとの境界を曖昧にするほどの主観的なフレーミングや評価的な言葉が含まれていることが多く、それが主観的な極からの分離を難しくさせているのです。この発見は、主観性がテキストのタイプの固定された特性ではなく、著者が情報を提示する方法に応じて変化し得る流動的な性質であるという考えを支持しています。

MUESCAプロジェクトは、主観性検出の問題を完全に解決したと主張しているわけではありませんが、将来の研究のための強固な基礎を提供しています。研究者たちは、自分たちのデータセットとアノテーションのガイドラインを公開しており、科学界がこの成果の上に積み上げられるようにしています。彼らは、この手法がよりインフォーマルな環境や分極化した環境でも通用するかどうかを確認するために、ソーシャルメディアの投稿やテクニカルレポートなど、より多くのジャンルを含むようにコーパスを拡張することを計画しています。また、情報の提示のされ方（確信か疑念か）が、事実そのものよりも多くを語る可能性がある「欺瞞の検出」への応用も視野に入れています。情報の「内容」ではなく、その「語用論的な伝達方法」に焦点を当てることで、このアプローチは、人間がいかに言語を用いて現実を形作っているのかを理解するための新しいレンズを提供しています。この研究は、主観性という複雑なタスクを、測定可能な言語的構成要素へと分解することで、より正確であるだけでなく、結論に至るプロセスにおいてより透明性の高いツールを構築できることを実証しています。