SSR: Pushing the Limit of Spatial Intelligence with Structured Scene Reasoning
マルチモーダル大規模言語モデルの空間認識能力の限界を克服するため、軽量なアライメント機構と構造化されたシーン推論（SSR）を導入し、大規模な事前学習なしに 3D 幾何特徴を 2D 視覚意味論に統合することで、VSI-Bench などで SOTA 性能を達成する手法を提案する。
👁️ Category
cs.CV
6224 件の論文
PointAlign: Feature-Level Alignment Regularization for 3D Vision-Language Models
3D 視覚言語モデルにおける 3D-テキスト対データの不足と幾何学的情報の劣化という課題に対し、中間点クラウドトークンと視覚入力トークンの整合性を制約する軽量な特徴レベルの整合正則化手法「PointAlign」を提案し、限られた計算コストで分類やキャプション生成タスクの性能を大幅に向上させることを示した。
DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects
本論文は、多視点画像から透明物体の幾何学と材質を高精度に分解・再構成するための、CUDA 実装による効率的な微分レンダリングフレームワーク「DiffTrans」を提案し、複雑なトポロジーやテクスチャを持つ実世界の透明物体の再構成において既存手法を上回る性能を示すものである。
Station2Radar: query conditioned gaussian splatting for precipitation field
本論文は、気象レーダーの限定的なカバレッジと気象観測所の疎なデータ、そして衛星画像の特性を補完し、自動気象観測所データと衛星画像を融合して降水領域のみを効率的に描画する「クエリ条件付きガウススプラッティング（QCGS）」という新しいフレームワークを提案し、従来のグリッド化された降水製品と比較して RMSE を 50% 以上改善する高精度な降水場生成を実現したことを報告しています。
An Interpretable Local Editing Model for Counterfactual Medical Image Generation
本論文は、病変部位のみに編集を限定し意図しない属性変化を防ぐとともに、編集プロセスを可視化するガイダンスマップを提供することで解釈性を向上させた、新しい解釈可能な局所編集モデル「InstructX2X」と、専門家が検証した医療 VQA ペアから構築されたデータセット「MIMIC-EDIT-INSTRUCTION」を提案し、胸部 X 線画像の反事実的生成において最先端の性能を達成したことを示しています。
LLM-Bootstrapped Targeted Finding Guidance for Factual MLLM-based Medical Report Generation
本論文は、LLM を活用して自動生成されたラベル付き医療所見データセットを用い、画像からの所見予測とレポート生成を分離する「Fact-Flow」というフレームワークを提案し、医療報告生成における事実性の安定性と精度を大幅に向上させることを示しています。
Taxonomy-Aware Representation Alignment for Hierarchical Visual Recognition with Large Multimodal Models
本論文は、生物基礎モデルの階層的表現を大規模マルチモーダルモデルに統合し、既知および未知の分類にわたって一貫した階層的視覚認識を可能にする「TARA」という手法を提案するものです。
TAP-SLF: Parameter-Efficient Adaptation of Vision Foundation Models for Multi-Task Ultrasound Image Analysis
本論文は、医療画像解析における多タスク学習の課題を解決するため、タスク固有の事前知識をエンコードする「タスク対応型プロンプト」と、エンコーダの特定上位層にのみ適用する「選択的層微調整（LoRA）」を組み合わせたパラメータ効率的な適応フレームワーク「TAP-SLF」を提案し、超音波画像解析におけるその有効性を示したものである。
Self-Correction Inside the Model: Leveraging Layer Attention to Mitigate Hallucinations in Large Vision Language Models
本論文は、大規模視覚言語モデルの生成過程において、外部信号を必要とせず隠れ状態を直接操作する「層アテンションを用いた内部自己修正（ICLA）」メカニズムを提案し、わずかな追加パラメータで幻觉を効果的に軽減し、視覚的基盤付けを向上させることを示しています。
Mamba-CAD: State Space Model For 3D Computer-Aided Design Generative Modeling
本論文は、産業用 CAD モデルの複雑なパラメトリックシーケンスを扱うために、Mamba 構造に基づく自己教師ありエンコーダ・デコーダフレームワークと GAN を組み合わせた生成モデル「Mamba-CAD」を提案し、新規に作成した大規模データセットを用いた実験でその有効性を示しています。
SesaHand: Enhancing 3D Hand Reconstruction via Controllable Generation with Semantic and Structural Alignment
本論文では、視覚言語モデルからの推論による意味的整合性と階層的構造融合による構造的整合性を組み合わせることで、多様で高精度な合成手画像を生成し、3 次元手の再構成性能を向上させる「SesaHand」を提案しています。
Improved Adversarial Diffusion Compression for Real-World Video Super-Resolution
本論文は、拡散モデルの推論遅延と重さという課題を解決するため、3 次元時空間アテンションを備えた大規模な教師モデルを、時空間のバランスを最適化する双頭敵対的蒸留法を用いて軽量な 2D 基盤モデルへ圧縮し、パラメータを 95% 削減しながら 8 倍の高速化を実現する実世界用動画超解像手法「AdcVSR」を提案するものである。
Explainable Continuous-Time Mask Refinement with Local Self-Similarity Priors for Medical Image Segmentation
本論文は、局所自己相似性事前知識と連続時間神経力学を統合した「LSS-LTCNet」という説明可能なフレームワークを提案し、足潰瘍の画像セグメンテーションにおいて、境界の精度と計算効率を大幅に向上させると同時に、医療診断における透明性を確保するものである。
ReMoT: Reinforcement Learning with Motion Contrast Triplets
本論文は、VLM の空間的・時間的一貫性の欠如を解決するため、大規模な運動対照データセット「ReMoT-16K」とグループ相対方策最適化（GRPO）を統合した新しい学習パラダイム「ReMoT」を提案し、空間・時間推論タスクで 25.1% の性能向上を達成したことを報告しています。
OPGAgent: An Agent for Auditable Dental Panoramic X-ray Interpretation
本論文は、歯科用パノラマ X 線画像（OPG）の解釈において、階層的証拠収集、専門ツール群、および合意形成メカニズムを統合した監査可能なエージェント「OPGAgent」と、その評価基準となる「OPG-Bench」を提案し、既存の視覚言語モデルや医療エージェントフレームワークを上回る性能を実証したものである。
DreamWorld: Unified World Modeling in Video Generation
既存の動画生成モデルが抱える世界理解の欠如を解消するため、物理常識や時空間的一貫性などの多様な世界知識を統合的に学習する「DreamWorld」フレームワークを提案し、訓練中の安定性を高める「一貫性制約アニール」と推論時の「多ソース内側ガイダンス」を導入することで、Wan2.1 を上回る世界の一貫性を達成した。
High Dynamic Range Imaging Based on an Asymmetric Event-SVE Camera System
本論文は、非対称なイベントカメラと空間可変露光（SVE）センサーをハードウェアとアルゴリズムの両面から統合し、非共軸幾何学や異種光学系を克服する2段階のクロスモーダル整合フレームワークと再構成ネットワークを開発することで、極端な照明環境下での高ダイナミックレンジ（HDR）画像の輝点回復、エッジ忠実度、および頑健性を大幅に向上させるシステムを提案しています。
Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols
本論文は、データ不足環境における検証セットの過信を解消する新しい評価プロトコル「HPE」を採用した包括的なベンチマーク「FEWTRANS」を提案し、複雑な転移学習手法よりも単純な全パラメータ微調整が優位であることを実証するとともに、その成功メカニズムを解明した。
U-VLM: Hierarchical Vision Language Modeling for Report Generation
本論文は、セグメンテーション事前学習済みエンコーダの活用と多層ビジュアル注入を特徴とする階層的ビジョン・ランゲージモデル「U-VLM」を提案し、大規模な事前学習言語モデルに依存せずとも、3D 医療画像からの放射線報告生成において最先端の性能を達成することを示しています。
Analyzing Physical Adversarial Example Threats to Machine Learning in Election Systems
本論文は、機械学習を用いた米国選挙システムにおいて、デジタル空間と物理空間（印刷・スキャン）で有効な敵対的サンプル攻撃の種類が異なることを実証し、選挙結果を転覆させるために必要な敵対的投票用紙の数を確率的に評価する枠組みを提示しています。