OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
本論文は、潜在交絡因子に起因する相関的学習の限界を克服し、ニューラル制御関数を用いてトランスフォーマーの隠れ状態に操作変数推定を直接組み込むことで、分布外での頑健な因果的時系列モデルを実現する「OrthoFormer」を提案し、その理論的保証と実験的有効性を示すものである。
🤖 Category
cs.AI
7152 件の論文
Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction
この論文は、規制上のストレステストにおける信用損失の予測を、推定不確実性と交絡不確実性を明確に分離する因果パネル予測フレームワークとして再定義し、連続的なマクロ経路の対比、交絡の限界下での同定集合の特定、予測誤差の増幅要因の理論的保証、および外挿コストを定量化する適合性バンドによる不確実性の分解を実現する手法を提案しています。
HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery
LLM を活用した経済学研究の自動化において、人間の監督を維持しつつ、データセットの制約を考慮した仮説生成や多段階のレビューループを通じて、実現可能な実証研究を低コストで効率的に生み出す「HLER」というマルチエージェント・アーキテクチャを提案し、その有効性を検証した論文です。
Dial: A Knowledge-Grounded Dialect-Specific NL2SQL System
本論文は、異なる SQL 方言を持つ多様なデータベースシステムに対応し、構文と意味の両面で正確なクエリ生成を実現するために、方言認識論理クエリ計画モジュール、階層的意図認識知識ベース、および実行駆動型デバッグループを導入した「Dial」という知識基盤型 NL2SQL 枠組みを提案し、新しいベンチマーク DS-NL2SQL による実験で最先端手法を上回る性能を示したものである。
Backdoor4Good: Benchmarking Beneficial Uses of Backdoors in LLMs
本論文は、機械学習モデルのセキュリティ脅威として従来研究されてきたバックドア機構を、安全性や制御性を高める「有益なバックドア」として再定義し、LLM におけるその信頼性向上への応用を評価する統一ベンチマーク「Backdoor4Good (B4G)」を提案するものである。
Image Generation Models: A Technical History
この論文は、VAE、GAN、拡散モデルなど過去 10 年間の画像生成モデルの技術的変遷を包括的に調査し、各モデルの技術詳細や限界、動画生成への発展、そして深層偽造リスクや責任ある展開といった倫理的課題までを網羅的に解説するものである。
"Better Ask for Forgiveness than Permission": Practices and Policies of AI Disclosure in Freelance Work
この論文は、フリーランス労働者が AI 使用を「許可を求めるより事後の許しを得る」姿勢で受動的に扱う一方、クライアントはそれを検知できず能動的開示を望むという認識の隔たりと、不明確なクライアント方針が期待の誤解を招いていることを実証し、AI 利用における信頼と責任の明確なガイドラインの必要性を提言している。
Where Do LLM-based Systems Break? A System-Level Security Framework for Risk Assessment and Treatment
この論文は、大規模言語モデル（LLM）を安全なワークフローに統合する際のリスクを評価・対処するために、システムモデリングと攻撃防御木、CVSS を組み合わせた目標指向のリスク評価フレームワークを提案し、医療分野の事例研究を通じてその有効性を示しています。
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
この論文は、アテンションとフィードフォワードをそれぞれ異なるストリームで処理する「デュアルストリームトランスフォーマー」を提案し、ヘッド間の混合戦略を調整することで解釈性と性能のトレードオフを明示的に制御可能にしつつ、注意機構の増幅に対する頑健性を示したものである。
Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment
この論文は、人間の知覚的困難さに基づいて分布外（OOD）の度合いを再定義し、人間の誤りパターンとモデルの誤りパターンを比較するための人間中心のフレームワークを提案することで、異なる難易度条件下でのモデルと人間の一致度をより体系的に評価可能にしたことを示しています。
Towards Lightweight Adaptation of Speech Enhancement Models in Real-World Environments
この論文は、リアルワールド環境における音声強調モデルの軽量適応を実現するため、自己教師あり学習を用いて低ランクアダプターを少量のパラメータのみ更新するフレームワークを提案し、111 の環境で高い性能向上と安定した収束を実証したものである。
Contact-Guided 3D Genome Structure Generation of E. coli via Diffusion Transformers
この論文は、Hi-C 接触マップを条件として拡散トランスフォーマーを用いて、大腸菌の 3 次元ゲノム構造の単一決定論的モデルではなく、多様なコンフォメーションのアンサンブルを生成する新しいフレームワークを提案し、その有効性を示したものである。
Give Them an Inch and They Will Take a Mile:Understanding and Measuring Caller Identity Confusion in MCP-Based AI Systems
本論文は、MCP（Model Context Protocol）ベースの AI システムにおいて、呼び出し元の ID 認証を欠き単一の承認決定を信頼する設計が根本的な脆弱性であり、多数の不正な呼び出し元へのアクセスを許容する大規模な実証分析を通じて、明示的な呼び出し元認証ときめ細かな権限管理の必要性を明らかにしたものである。
Cross-Modal Taxonomic Generalization in (Vision-) Language Models
この論文は、画像エンコーダと言語モデル（LM）を凍結したビジョン言語モデルにおいて、画像からの明示的なハイパーニム（上位概念）の証拠を完全に排除しても、言語モデルが事前学習した言語的知識とカテゴリー内の視覚的類似性に基づき、ハイパーニムを回復・一般化できることを示しています。
Interpretable-by-Design Transformers via Architectural Stream Independence
この論文は、トークンストリームと文脈セマンティクスを処理の最終段階まで分離して保持する「アーキテクチャ的ストリーム独立性」という設計原理を導入し、標準的なトランスフォーマーが早期に意味と位置情報の混同を起こすのに対し、後融合アーキテクチャ（LFA）は解釈可能な記号ヘッドを維持し、位置依存性への依存を減らしてモデルの安定性と構造的解釈可能性を向上させることを実証しています。
A Joint Neural Baseline for Concept, Assertion, and Relation Extraction from Clinical Text
この論文は、臨床テキストからの概念認識、アサーション分類、関係抽出という 3 つのタスクを独立して処理する従来のパイプライン手法の課題を解決し、これらを統合的に最適化するエンドツーエンドのニューラルネットワーク基線モデルを提案し、その有効性を示すものです。
From Thinker to Society: Security in Hierarchical Autonomy Evolution of AI Agents
この論文は、LLM 駆動の AI エージェントの自律性進化に伴う新たなセキュリティ課題に対し、認知・実行・集合的自律の 3 段階で脅威を分類し、多層防御アーキテクチャの構築を提唱する階層的自律進化（HAE）フレームワークを提示しています。
SeDa: A Unified System for Dataset Discovery and Multi-Entity Augmented Semantic Exploration
本論文は、200 以上のプラットフォームから 760 万以上のデータセットを統合し、意味的注釈とマルチエンティティ拡張ナビゲーションを通じて、分散したデータエコシステムにおける信頼性の高いデータ発見と探索を実現する統一フレームワーク「SeDa」を提案するものである。
A Unified View of Drifting and Score-Based Models
本論文は、Tweedie の公式を用いて「Drifting モデル」がガウス平滑化分布におけるスコアマッチングの原理と厳密に等価であることを示し、拡散モデルや DMD との理論的関係を明らかにするとともに、ラプラス核に対する誤差評価も提供しています。
InterReal: A Unified Physics-Based Imitation Framework for Learning Human-Object Interaction Skills
本論文は、実世界の人間 - 物体相互作用（HOI）制御を可能にする統合された物理ベースの模倣学習フレームワーク「InterReal」を提案し、接触制約を考慮したデータ拡張とメタポリシーに基づく自動報酬学習により、Unitree G1 などの実機において高い追従精度とタスク成功率を実現したことを示しています。