UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

現代の情報エコシステムにおいて、ある主張を検証することは戦いの半分に過ぎず、その真偽の理由を人間の読者に説明することこそがもう半分の戦いである。これは自動ファクトチェックという領域であり、コンピュータがジャーナリストの厳格な仕事を模倣しようとする分野である。課題は単に正しい証拠を見つけることではなく、その証拠を人間が信頼でき、かつコンピュータが検証可能な一貫した記事へと編み上げることにある。最近行われたコンペティション「CheckThat! 2026」では、これらのファクトチェック記事を自動生成するシステムの構築が各チームに課された。システムは特定の主張を受け取り、ウェブリンクのリストから裏付けとなる証拠を見つけ出し、それらのリンクを引用しながら短いレポートを作成しなければならなかった。採点は容赦のないものであった。プログラムによる評価は、作成された記事が人間によって書かれた例とどれほど一致しているか、そして決定的な点として、ソースを引用しているすべての文章が実際にそのソースのテキストによって支持されているかどうかに基づいて行われた。もしシステムが詳細を捏造したり、ソースの内容をわずかに誤って引用したりすれば、コンピュータはそれを厳しく減点した。

シドニー工科大学のチームはこのコンペティションに対し、多くのチームとは異なる道を行くシステムで参戦した。他の多くのチームが強力な人工知能を使用して記事全体を一から書き上げようとした一方で、シドニーのチームはメインテキストに対して硬直的で予測可能なテンプレートを使用し、人工知能をあくまで厳格な門番（ゲートキーパー）としての役割のみに使用するという手法をとった。彼らのアプローチにより、彼らは11チーム中2位に入賞した。成功の鍵は、より創造的な散文を生み出すことではなく、コンピュータの判定器がいかに機能するかを正確に理解したことにあった。彼らは、この判定器が極めて保守的であることを発見した。つまり、提供された事実に忠実な記事には報酬を与え、余計な華やかさや未検証の詳細を加えた文章は拒絶するというものである。こうした厳格なルールに従うようにシステムを設計することで、彼らはたとえ優雅さはなくとも、確実に正確なファクトチェック記事を作成できる機械を作り上げたのである。

研究者たちはまず、最も明白と思われるアイデア、すなわち流暢なテキストを書く能力を持つ大規模言語モデル（一種の人工知能）に記事全体の草稿を書かせるテストを行った。彼らはマシンがプロのファクトチェッカーのように振る舞えることを期待して、さまざまなサイズのモデルを用いて試行錯誤したが、うまくいかなかった。これらのモデルが生成した記事は、コンピュータの採点システムにおいて一貫して失敗した。問題は構造にあった。コンピュータの判定器は、特に情報の出典がどのように示されているかについて、テキスト内の特定のパターンを探していた。人工知能が自然に書こうとすると、しばしばソースへの言及方法を変えてしまったり、元の根拠資料からは検証できない追加の言葉を加えたりしてしまうことがあった。レビューアーの名前や日付など、ソース内に存在しない要素をたった一つ加えるだけでさえ、コンピュータはその文章を却下した。人工知能が高い記述能力を持てば持つほど、それは判定器が必要とする厳格なパターンから逸脱していく傾向があったのだ。チームは、「より優れた文章を書かせよう」とすることが、実際にはパフォーマンスを低下させているのだと気づいた。

文章を改善しようとする代わりに、チームは構造を改善することに決めた。彼らはシンプルで不変のテンプレートから始まるシステムを構築した。このテンプレートは、見出し、それぞれの証拠に対する一つの文章、そして結論を備えた基本的な記事を作成するものだった。この「スタブ（断片）」のようなドラフトは退屈であったが、安全であった。それは完璧にルールに従っていたのである。チームはその後、品質管理検査官として機能させるために、二つの具体的なツールをこのシステムに追加した。第一のツールは、彼らが「ドメイン属性フレーム（domain-attribution frame）」と呼んだもので、単純に各引用を「〜によると、（事実）。」といった標準的なフレーズの中に包み込むものだ。この小さな変更により、事実は変えないまま、文章をコンピュータが比較対象としている人間が書いた例文に近い響きにさせることができた。第二のツールは「シャドウ・バリデーター（影の検証器）」であった。システムが文章を確定させる前に、小さな人工知能モデルに対して、その特定の文章が実際にソースリンクによって支持されているかを問い質す仕組みである。もしモデルが「否」と言えば、システムはソーステキスト内の次の文章を試みる。それが失敗した場合でも、元々の安全な文章をそのまま保持する。これにより、システムが生み出すあらゆる引用が、コンピュータの判定器に受け入れられる内容であることが保証された。

このアプローチの結果は明確かつ測定可能であった。コンペティション前に自律システムをテストするために使用された検証データにおいて、彼らの手法は基本テンプレートと比較して、小さくも有意な差で総合スコアを向上させた。フレーミングツールとシャドウ・バリデーターの両方を組み合わせると、その向上はさらに大きくなった。システムは賢明であろうとしなかった。ただ、すべての文章が検証可能であり、正しい形式に従っていることを確保しただけである。最終的な競技会において、彼らのシステムは0.484というスコアを獲得し、11チーム中2位となった。優勝したチームの方が高いスコアを得ていたが、その差は完全に一つの指標、すなわち「引用精度（citation precision）」によるものであった。優勝チームは、おそらく確信が持てない引用をあえて除外することを選択することで、非常に高い精度でソースを引用できていた。対照的に、シドニーのチームは与えられたすべてのソースを引用しており、そのため精度のスコアが低くなってしまった。

チームの研究は、将来の自動ファクトチェックにおける二つの重要な教訓を示した。第一に、コンピュータの判定器が厳格な検証を行うよう設計されている場合、余分な言葉を追加したり、より人間に近い表現を目指そうとしたりすることは、多くの場合スコアを下げる要因になるということである。最も効果的な戦略は、テキストをシンプルにし、エビデンスに厳密に結びつけることであった。第二に、どの文章を引用するかを選択するためのツールは、往々にして誤解を招くものであるということである。チームは、ソースから「最良」の文章を選ぶための標準的な手法――例えば、最も長い文章を選んだり、主張に最も関連性の高いものを探したりする方法――を用いると、コンピュータの判定器に拒絶される文章を選んでしまうことが多いことを突き止めた。唯一信頼できる方法は、裁判官自身に尋ねることだったのである。この洞察は、厳格な検証によって正確性が測定されるタスクにおいては、新しいコンテンツを生成することよりも、既存のコンテンツを注意深く選別し、検証することこそが最善のアプローチであることを示唆している。

また、研究者たちは自身のシステムには限界があることも指摘した。提示されたすべての証拠を引用する必要があったため、高精度のスコアを維持するために不確実な情報源をスキップするという優勝チームの戦略を採用できなかったのである。シドニーのチームは、もし判定器が自信を持てない引用を除外するようなルールを追加していれば、自分たちのスコアはもっと高くなっていたのではないかと仮説を立てている。しかし、彼らは大会期間中にこれをテストすることはなかった。彼らの仕事は、高度な検証作業において、人間のように書こうとする複雑な人工知能モデルよりも、正確性を優先する単純で決定論的なシステムが勝る場合があることを示す実演となっている。論文は次世代のシステムに向けて、焦点は「より良い散文を作る」ことから、「何を盛り込み、何を除くべきかを判断するスマートな方法を開発する」ことへと移行すべきであると締めくくられている。これによって、機械が書くすべての言葉が、真実であると証明できるようにするのである。