技術要約：EVIDENCELENS

問題提起

大規模言語モデル（LLM）は、複雑な財務文書（年次報告書、決算説明資料、アナリストノート）に対する質問回答への活用が進んでいます。しかし、極めて重要な判断を伴う金融ワークフローにおいて、モデルの出力は検証が困難です。流暢な回答は、直接的な根拠に基づく記述、弱い合成、そして、文章、表、チャートにまたがる根拠のない主張が混在しています。従来のチャットインターフェースは、大まかな引用リンクを提供するのみであるか、あるいはプロベナンス（由来）を全く提供しないことが多く、アナリストが「厳密に裏付けられた主張」と「単にもっともらしく見える推測」を区別することを不可能にしています。既存の可視化およびAI研究は、チャート理解またはテキスト推論を個別に扱ってきましたが、テキスト、表、視覚情報のすべてにおいて証拠が同時に存在するマルチモーダルな金融回答を監査できるインターフェースはほとんど存在しません。

手法

著者らは、金融における質問回答（QA）を、単なるテキスト生成タスクではなく、**「主張と証拠の整合性問題（claim-evidence alignment problem）」**として再定義する視覚的分析プロトタイプ、EVIDENCELENSを提案します。

1. データモデルと正規化

本システムは、生成された回答を、一連の**原子的な主張（atomic claims）へと分解し、それらを証拠項目（evidence items）**と整合させます。

• 主張（Claims）: $(y_i, o_i, v_i, q_i)$ のタプルとして正規化されます。ここで、$y_i$ は主張のタイプ（値、比較、傾向、説明）、$o_i$ は演算子テンプレート、$v_i$ は数値ペイロード、$q_i$ はテキストによる解説を表します。
• 証拠（Evidence）: $(m_j, u_j, t_j, a_j)$ のタプルとして正規化されます。ここで、$m_j$ はモダリティ（テキスト、表、チャート）、$u_j$ はモダリティ固有のアノカー（例：セルのパス、チャートのマークグループ）、$t_j$ は表面的な記述、$a_j$ は型付き属性（例：傾き、極値）を格納します。
• 整合スコア（Alignment Scoring）: 重み付けされた意味的、数値的、構造的、および局所的な近接性の特徴量を用いて、軽量な適合度スコア（$s_{ij}$）を算出します。リンクは、閾値と極性テストに基づき、支持（support）、部分的支持（partial support）、矛盾（contradiction）、または**コンテキスト（context）**に分類されます。

2. 視覚設計

インターフェースは、チャットのトランスクリプトではなく、マルチモーダルな主張-証拠マトリックスを中心としています。

• 主張パネル（Claim Panel）: 回答をカード状に分解し、ステータスを示すグリフと、テキスト、表、チャートの証拠の相対的な寄与を示すスタックバーを表示します。ここでは、**「確信度と支持のギャップ（confidence–support gap）」（高いモデルの確信度に対し、整合する支持が弱い状態）**を可視化し、レビューの優先順位付けを行います。
• 主張-証拠マトリックス（Claim-Evidence Matrix）: 行は主張を表し、列はソースの順序に従ってグループ化されたモダリティ別の証拠を表します。セルは関係性（支持／矛盾）をエンコードします。このレイアウトにより、支持の範囲（support coverage）、モダリティの不均衡（例：説明文のみによって裏付けられた説明）、および矛盾（混合した緑／赤のパターン）をひと目で把握できます。
• 協調ソースビュー（Coordinated Source View）: マトリックスのセルを選択すると、同期されたテキスト、表、およびチャートのビュー内の対応する領域がハイライトされ、局所的なコンテキスト（ヘッダー、周囲の文章、特定のチャート区間など）が保持されます。
• トレースビュー（Trace View）: 証拠の検索順序と推論ステップを要約します。

3. 再現性とパイプライン

再現性を確保するため、システムは主張、証拠、およびリンクを含むJSONベースのアーティファクト・スキーマを指定します。決定論的なレビュー優先順位付けアルゴリズムが、モダリティごとの支持を集計してリスクスコア（$r_i$）を算出します。このスコアは、確信度と支持のギャップが大きいもの、矛盾があるもの、または単一のモダリティに依存している主張を優先します。プロトタイプは、LLMが主張と根拠となる範囲を提案し、ルールに基づいてソース領域にマッピングするという半自動的なバックエンドを使用していますが、可視化ロジック自体はバックエンドに依存しない設計となっています。

主な貢献

本論文は、以下の4つの具体的な貢献を述べています。

1. 主張中心のプロベナンス（Claim-Centered Provenance）: 回答を単一のテキストブロックとしてではなく、異種混合の証拠（テキスト、表、チャート）に紐付けられた原子的な主張の集合として扱う、金融QAのための表現形式。
2. マルチモーダル主張-証拠マトリックス: 支持の範囲、モダリティの不均衡、および矛盾を即座に可視化し、アナリストによる迅速な回答監査を可能にする可視化手法。
3. 再現可能な整合パイプライン: 明示的な重み、閾値、および決定論的な視覚状態の再構築を可能にするJSONアーティファクト・スキーマを備えた、軽量な整合およびレビュー優先順位付けシステムの仕様。
4. シナリオ検証: 代表的なレポート監査シナリオ（ケース1：マージンの改善、ケース2：ガイダンスの修正）を通じた設計のデモンストレーションを行い、信頼できる金融AIインターフェースに関する教訓を抽出。

結果と観察

本論文は、統計的な有意性を持つ大規模なユーザー調査は提示していませんが、システムの有用性を説明するために代表的なシナリオのウォークスルーを提供しています。

• 失敗モードの検出: 可視化により、以下の3つの典型的な失敗モードが明確になります。
  • 裏付けのない説明的飛躍: 支持が文章のみに集中している、疎な行によって特定される。
  • 隠れた矛盾: 単一の行内で支持と矛盾のセルが混在していること（例：本文と脚注の不一致）によって特定される。
  • 過剰な自信による合成: 流暢な言語にもかかわらず、大きな「確信度と支持のギャップ」によって特定される。
• ワークフローへの影響: 本システムにより、アナリストは「受け入れるべき主張」「条件付きで受け入れるべき主張」「明確に拒絶すべき主張」を区別できるようになります。これは、従来のチャットインターフェースが平坦化してしまう粒度です。これにより、ワークフローは「手動の文書検索」から、「リスクの高い記述の『概要優先』のトリアージ」へと移行します。

重要性と主張

本論文は、信頼できる金融QAは、モデルの正確さと同じくらいインターフェースのデザインに依存すると主張しています。

• 表現の問題: 著者らは、情報の検索（証拠を見つけること）と言語（回答を生成すること）を超えた、欠落している「表現の問題（representation problem）」があると指摘しています。ユーザーには、主張を比較し、不均衡に気づき、回答の文脈を見失うことなくソースのコンテキストを保持するための構造が必要です。
• 物語性よりも監査可能性: マトリックス設計は、物語的な流暢さよりも、監査可能性（迅速な比較、密度のパターン把握）を優先しており、チャートを単なるスクリーンショットではなく、第一級の証拠として扱っています。
• 編集上の有用性: このインターフェースは、プロフェッショナルが回答を、単にバイナリな誤りを見つけるためではなく、ノートやメモへの再利用に十分な精度を持つものへと洗練させるための、編集ワークフローをサポートします。
• 汎用性: 金融に焦点を当てていますが、著者らはこのアプローチが、異種混合データに対するプロベナンスを必要とする他のドメイン（政策、医学、科学的報告など）にも一般化できることを示唆しています。

結論として、EVIDENCELENSは金融QAを「視覚的な監査タスク」へと再定義し、不透明なマルチモーダルQAを、検査可能で、根拠に基づいた、時間的制約のある金融ツールに適した、監査可能な視覚的構造へと変貌させるものです。