Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring

自動執筆の世界において、構造こそが明快さへの究極の鍵であるという持続的な信念が存在する。コンピュータは、文書が単なるプレーンテキストの壁としてではなく、明確なタグやラベルで整理されている場合に、より正確に文書を読み取れるよう長らく教えられてきた。この原則は人工知能の分野における標準的なルールとなっている。つまり、機械に特定の事実を見つけさせたり、特定の指示に従わせたりしたいのであれば、情報の構造化されたマップを与えることが、データのナビゲーションを助けることになる。その結果、多くのエンジニアは、この構造上の利点が機械が「書く」際にも同様に適用されるはずだと想定してきた。その論理はもっともらしく思えた。もし構造がコンピュータの読解を助けるのであれば、それはコンピュータの執筆も助けるはずだ、というわけである。

しかし、ある新しい研究が、非常に具体的かつ重要なタスク、すなわち政府入札への正式な回答作成に着目することで、この仮定に異を唱えている。これらは、企業がクライアントからの数百の質問に答えなければならない複雑な文書であり、多くの場合、厳格なフォーマット規則を遵守し、クライアントの正確な用語を使用する必要がある。研究者たちは、この業務を処理するために複数の人工知能エージェントからなるシステムを構築し、要件の読み取り、事実の収集、回答のドラフト作成というタスクを分離した。彼らはこのシステムを、同じ組織によって提出された実在の人間の作成による入札書と比較検証した。そこで彼らが発見したのは、機械の学習方法における驚くべき分断であった。構造は機械を優れた「読者」にする一方で、実は機械を劣った「書き手」にしてしまうのである。この研究は、AIを導く最善の方法は、機械に硬直したテンプレートに従わせることではなく、構造化されたデータを読ませた上で、自然言語で書かせ、品質を確保するために独自の内部チェックを行わせることであると示唆している。

研究者たちはまず、実際の調達要求に対して回答案を作成するために、このマルチエージェントシステムを導入することから始めた。システムは慎重かつ精密であるように設計された。答えを推測しようとするのではなく、作業を小さなステップに分解したのである。まず、クライアントの文書を読み込み、質問と指示の関係性を保持したまま構造化された形式へと変換した。次に、過去の文書や会社の記録のライブラリから情報を収集した。最後に、回答のドラフトを作成した。性能を検証するため、チームは機械のドラフトを、組織が別の入札のために手作業で作成した実在の入札書と比較した。この比較において、機械にはコピーすべき例が存在せず、提供された文書と自身の推論のみに頼らなければならなかった。

独立した判定役、すなわち単に見た目がオリジナルに似ているかどうかではなく、文章の質を評価するように訓練された別の人工知能が、結果をレビューした。機械の回答は、55セクションのうち40セクションにおいて、人間が書いたものと同等以上の評価を得た。4つのセクションでは、機械の方が実際に優れた評価を受けた。セクションを完全に飛ばしてしまうこともなかった。唯一の大きな問題は、テキストに明示されていないセキュリティ機能を機械が推論してしまった、一つの根拠のない主張であった。この結果は、使用されたモデルが最先端のものではなく、事前の学習例も持っていなかったことを考えると、非常に印象的なものであった。

しかし、研究者たちは表面的なスコアにとどまらなかった。彼らは、機械が人間の書き手よりも成績が悪かった15のセクションを深く掘り下げた。彼らは、機械が文章を下手にしたために失敗したのか、それとも単に適切な情報を持っていなかったために失敗したのかを知りたかったのである。その結果、これらのケースのほぼ7割において、「失敗」は実際にはデータの欠如であったことが判明した。人間の書き手は、経験や非公開の会話から特定の詳細を知っていたが、機械のシステムにはそれらが一度も与えられていなかったのである。研究者が、これらの欠落した事実を無視するようにスコアを調整したところ、機械のパフォーマンスは9割近くまで跳ね上がった。これは極めて重要な洞察を明らかにした。機械と人間の間のギャップは、主に執筆能力によるものではなく、情報へのアクセスの問題であったということである。機械は有能な書き手であったが、不完全なブリーフィングによってしばしば足かせをはめられていたのである。

その後、研究は構造の役割をテストするための、より制御された実験へと移った。チームは、機械が受け取る指示を2通りの方法で提示した。一方は、標準的なメモのようなプレーンテキスト形式である。もう一方は、タグが付いたデジタルファイルのような、入れ子構造の構造化形式である。彼らは、構造化されたバージョンが、読み取りにおいて同様に機械の理解を助けることを期待していた。しかし、実際には逆の結果となった。指示が構造化されると、回答の質が著しく低下したのである。機械は正しい回答を生成する回数が減り、指示の内容を自身の文章の中でより頻繁に繰り返すようになった。これは、機械が混乱している兆候である。

研究者たちは、構造が機械の注意を向ける対象を変えてしまうことに気づいた。指示がプレーンテキストであるとき、機械はリクエストの意味に集中していた。しかし、指示がタグ付きで構造化されると、機械はタグそのものに集中してしまった。機械はクライアントの名前や文書のタイトルを最も重要な部分として扱い始め、質問に直接答える代わりに、「クライ訳は～を要求しています」といった不自然な言い回しで回答を始めるようになった。これは、構造が情報の所在を特定する助けにはなるものの、新しいコンテンツを生成する必要がある場合には、機械の邪魔になることを示している。

チームはまた、やってはいけないことに関するルールを機械がどのように扱うかについても調査した。彼らは、単に機械に「この言葉を使わないでください」と伝えることは、しばしば問題を悪化させることを発見した。機械はその禁止された言葉に固執してしまい、結果として誤ってそれを含めてしまったり、ルールを破るような使い方をしたりした。しかし、機械に自身の文章に対してテストを実行させ（質問と似すぎている文章がないかチェックし、必要であれば書き直すよう求める）、自らチェックを行わせると、エラーは消失した。機械は、何を避けるべきかを具体的に教えられることなく、自らを監視することを学んだのである。

最後に、研究者たちはシステムが自身のノートを扱う際の、微細だが危険な欠陥に気づいた。機械は、特定の箇所を示すために文書に小さなマークを追加することがあった。このマークは、テキストの長さをわずかに変化させる。機械はテキストを固定サイズのチャンク（塊）として処理するため、このわずかな長さの変化が、チャンクの境界線をずらしてしまうのである。その結果、機械は意図したときとは異なる単語のセットを参照することになり、抽出される質問の数も全く変わってしまう。テキスト内のわずか2つのマークの違いが、システムから17個も少ない質問の抽出を引き起こした。これは、機械が情報を切り分ける方法があまりに硬直的であったために、微細でランダムな注釈の変化が、大規模なエラーへと連鎖してしまうことを示した。

浮かび上がる全体像は、慎重なバランスの重要性である。この研究は、人工知能が正式な文書作成の問題を解決したと主張しているわけでも、機械が人間の書き手に完全に取って代わる準備ができていると示唆しているわけでもない。むしろ、テクノロジーがどこで機能し、どこで苦戦するかという精密な地図を提供している。機械は、特に情報が構造化されている場合、情報の読み取りと整理において強力なツールとなる。しかし、文章を書くことに関しては、機械を硬直した構造に押し込めることは混乱を招く。最も効果的なアプローチは、構造化されたデータを読ませつつ、自然言語で書かせ、自らのチェック機能を用いて軌道から外れないようにすることである。この「読み取り」と「書き込み」の区別は、単なる技術的な詳細ではなく、重要な任務を任せられるシステムを構築するための根本的なルールである。研究者たちは、最善の結果は、機械に完璧なテンプレートに従わせることではなく、正しい情報を与え、最終稿に対して独自の判断を適用させることから得られることを発見したのである。