HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

技術要約: SemEval-2026 Task 11 における HABIB_TAZ

問題の定義
大規模言語モデル（LLM）は一般的な自然言語処理（NLP）タスクにおいて高い習熟度を示しているが、その形式的な推論能力は「コンテンツ効果（content effects）」によって頻繁に損なわれる。モデルは、現実世界の妥当性と一致する議論の論理的妥当性を過大評価する傾向があり、世界の知識と形式論理を混同してしまう。SemEval-2026 Task 11は、12言語にわたって、モデルが形式論理をコンテンツから分離できる能力を評価することでこれに対処しており、特に無関係なノイズ（ディストラクター）の中から関連する前提を特定することを要求している。核心となる課題は、論理的妥当性の分類において高い精度を達成しつつ、妥当なコンテンツへのバイアスを定量化する指標である「総コンテンツ効果（Total Content Effect: TCE）」を最小限に抑えることにある。

手法
HABIB_TAZシステムは、合成データ生成、特化型アーキテクチャ、および多目的最適化を組み合わせ、意味的なパターンを論理構造から切り離すための多面的なアプローチを採用している。

• アーキテクチャ: システムは、自然言語推論（NLI）タスクで事前学習された mDeBERTa-v3 バックボーンを利用している。ノイズを含むサブタスク（ST2およびST4）については、無関係な前提をより適切に分離するために、より大規模なバックボンド（DeBERTa-v3-large）が採用されている。アーキテクチャは、論理的妥当性のための分類ヘッド（[CLS]トークンを使用）と、関連する前提を特定するためのスパンベースのプーリングおよびマスク平均プーリングを用いた前提選択ヘッドの2つの特化型ヘッドを備えている。
• データ戦略: 提供された訓練データの少なさ（N=960）を克服するため、著者らはルールベースの合成データエンジンを開発した。このエンジンは、256のアリストテレス的三段論法のスキームに基づいてデータを生成し、妥当性と妥当性の両方の象限におけるバランスの取れた表現を保証している。主な戦略は以下の通りである：
  • 語彙制御: WordNetの上位語・下位語の連鎖を用いて妥当なサンプルを作成し、交差連鎖の名詞を用いて非妥当なサンプルを作成する。
  • 記号的データ: 現実世界の意味論への依存を減らすために、デタラメな文字列や記号変数（変数）を導入する。
  • 複雑な言い換え: 単純な論理形式を複雑な言語的バリエーションにマッピングすることで、構造的不変性を強制する。
  • 多言語展開: 量化子を保持するために、英語の構造を言語固有のテンプレートを用いて12の対象言語に翻訳する。
  • 堅牢性: モデルが表面的な構文的ヒューリスティックを悪用することを防ぐため、HANS（NLIシステムのヒューリスティック分析）データセットのサンプルを統合する。
• 最適化: 訓練パイプラインは、多目的損失関数（$L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$）を採用している：
  • 適応型グループDRO: 標準的なクロスエントロピーの代わりに、グループ分布ロバスト最適化（Group Distributionally Robust Optimization: DRO）を用い、低パフォーマンスのサブグループ（妥当性/妥当性の象限および言語によって定義される）に焦点を当てることで一貫性を確保する。
  • 微分可能なバイアス・ペナルティ: シグモイド信頼度スコアから計算される損失成分であり、妥当性・妥当性の象限間での不均一な信頼度分布にペナルティを課し、コンテンツの妥当性に関わらず論理的な確信を維持するようにモデルを強制する。
  • KLダイバージェンスの一貫性: 単純な三段論法（教師）とその複雑な言い換え（生徒）の出力分布間のダイバージェンスを最小化し、モデルを語彙的なショートカットではなく、根本的な論理形式に固定する。
  • 動的スケジューリング: バイアス・ペナルティの重み（$\lambda_{bias}$）とDROのステップサイズはゼロから開始され、モデルが形式的な構造を習得する前に劣悪な局所解に陥るのを防ぐために段階的に増加させる。

主要な結果
本システムは、最初の3つのサブタスクにおいて最先端（SOTA）の性能を達成し、最も複雑なサブタスクにおいても強力な結果を残した：

• サブタスク 1 (英語): ランキングスコア 100.0、バイアス 0.00%、精度 100.0% を達成。
• サブタスク 2 (ノイズを含む英語): ランキングスコア 100.0、バイアス 0.00%、精度 100.0% を達成し、ノイズを含む前提から推論を正常に分離した。
• サブタスク 3 (多言語): ランキングスコア 100.0、バイアス 0.00%、精度 100.0% を達成。アブレーション研究により、バイアス損失とHANSデータの組み合わせがこのタスクには十分であり、追加の正則化（KL/MSE）は性能を向上させなかったことが示された。
• サブタスク 4 (ノイズを含む多言語): 精度およびF1スコア 89.06%、バイアス 2.89%、ランキングスコア 37.78 で 6位 にランクインした。
  • 分析: 著者らは、元の多言語テストセットで評価した場合と、その英語翻訳版のテストセットで評価した場合との間に顕著な性能差があることを指摘した。KLダイバージェンスによる正則化が、このクロスリンガルなギャップを埋めるための決定的な要因であると特定され、モデルを言語的バリエーションに対して堅牢にした。ただし、コンペティション中の計算上の制約により、訓練用の全データセット（648,632サンプル）は実際には約4%に削減されており、さらなる改善の余地があることが示唆されている。

意義と貢献
本論文の主な貢献は、バイアスを考慮した最適化と合成・ルールベースのデータを組み合わせることで、形式的な推論を現実世界の妥当性から効果的に分離できることを示した点にある。LLMに内在する意味的なノイズを回避し、多目的損失関数を用いることで、システムは典型的なLLMの問題であるコンテンツ効果を効果的に軽減することに成功した。

著者らは以下を強調している：

1. 合成データは極めて重要である: 抽象的な記号とルールベースの構造で訓練することで、自然言語データのみで訓練する場合よりも、モデルは論理的推論をより良く一般化できる。
2. 多目的最適化が必要である: 単独の正則化技術（DROやバイアスのみ）は、性能を低下させたり一般化に失敗したりする可能性がある。構造的不変性を維持しながらバイアスを軽減するには、バランスの取れた組み合わせ（具体的にはKLダイバージェンス + DRO + バイアス）が必要である。
3. スケーラビリティ: ノイズを含む前提から論理的関係を抽象化する能力は、サブタスク2で達成された完全なスコアが示す通り、モデルのパラメータ数に直接比例してスケールする。

著者らは、将来の堅牢な論理推論の研究を促進するために、データ生成エンジンとコードベースを公開している。彼らは、システムがクリーンかつ単一言語のノイズを含むタスクでは完璧なスコアを達成した一方で、完全に堅牢な多言語論理推論の課題は、特に一貫性正則化の計算コストに関して、依然として活発な改善領域であることを結論づけている。