CaptionFool: Universal Image Captioning Model Attacks
この論文は、画像のわずか 1.2%(7 パッチ)を変更するだけで、最先端の画像キャプション生成モデルを任意のテキスト(差別的な内容やフィルタ回避用語を含む)に誘導できる汎用的な敵対的攻撃「CaptionFool」を提案し、視覚言語モデルの深刻な脆弱性を明らかにしています。
6129 件の論文
この論文は、画像のわずか 1.2%(7 パッチ)を変更するだけで、最先端の画像キャプション生成モデルを任意のテキスト(差別的な内容やフィルタ回避用語を含む)に誘導できる汎用的な敵対的攻撃「CaptionFool」を提案し、視覚言語モデルの深刻な脆弱性を明らかにしています。
本論文は、小規模な医療データセットにおける非対 CBCT-CT 変換の安定性と精度を向上させるため、DINOv3 エンコーダとグローバル CT メモリバンクを用いて検索ガイド擬似ペアを構築する「検索拡張フローマッチング(RAFM)」を提案し、SynthRAD2023 ベンチマークで既存手法を上回る性能を実証したものである。
本論文は、従来の 2D 解析や単一データ源の限界を克服し、連続スライスの 3D 空間情報と多様な臨床データを統合する「MIMD-3DVT」という新たな 3D ビジョン・トランスフォーマー手法を提案し、アルツハイマー病の分類において 97.14% の高い精度を達成したことを報告している。
本論文は、既存の評価手法の限界を克服するため、10 次元の能力指向ベンチマーク「M-JudgeBench」を提案し、MCTS を駆使したデータ生成フレームワーク「Judge-MCTS」を用いて高品質な判断モデル「M-Judger」を構築・検証することで、マルチモーダル大規模言語モデルの判断能力評価とトレーニングの新たな基盤を確立したものである。
この論文は、動画レベルの教師信号のみを用いた弱教師あり動画異常検出の課題を解決するため、異常のセマンティクスを学習し、類似する正常・異常行動を区別する「LAS-VAD」という新しいフレームワークを提案し、XD-Violence および UCF-Crime データセットにおいて最先端の性能を達成したことを報告しています。
本論文は、手術室環境におけるキャリブレーションの不安定性がもたらす幾何学的不一致を解消し、単一のグローバルスケールを持つ整合的なカメラ設定を構築する「Multi-view Metric Geometry Rectification」モジュールと、これに基づく遮蔽に強い 3 次元ポイント追跡を組み合わせた「Geometry OR Tracker」を提案し、MM-OR ベンチマークにおいて深度不一致を 30 倍以上削減して追跡精度を大幅に向上させることを示しています。
本論文は、有害な意味を複数の視覚的要素に分散させ、画像間の推論を通じて段階的に再構成することで、最先端のマルチモーダル大規模言語モデルのセキュリティメカニズムを回避し、平均攻撃成功率 81.46% を達成する新しいマルチモーダル脱獄フレームワーク「MIDAS」を提案しています。
本論文は、マルチモーダルモデルのテスト時適応において、バイアス付きモダリティの可塑性とバイアスなしモダリティの安定性を、特徴次元間の冗長性の差異に基づいて診断し、非対称なアダプター構造を用いてそれぞれに最適化された更新戦略を適用する「DASP」という新たなフレームワークを提案し、既存手法を大幅に上回る性能を実現したことを示しています。
本論文は、創薬や教育などへの応用を視野に、マイクロスケールのシミュレーション評価基準「MicroWorldBench」と高品質データセット「MicroSim-10K」を構築し、これらを用いて生物学的メカニズムを正確に再現する動画生成モデル「MicroVerse」を開発したことを報告しています。
本論文は、既存の視覚言語行動モデルが言語指示を十分に理解できていないという課題を明らかにし、これを診断するための新しいベンチマーク「LangGap」を提案するとともに、データ拡張による部分的な改善と、言語の多様性に対するモデルの根本的な限界を示しています。
本論文は、画像、テキスト、音声の各モダリティにおける多段階の計数能力を包括的に評価するための統一ベンチマーク「UNICBench」とその評価ツールキットを提案し、45 の最先端マルチモーダル大規模言語モデルの性能を厳密に検証することで、推論や難易度の高いタスクにおける顕著な課題を浮き彫りにしています。
本論文は、リモートセンシング画像セグメンテーションにおけるラベルノイズの推定とランキングを目的とした、新しいデータ中心のベンチマーク、公開データセット、およびモデルの不確実性や予測の一貫性などを活用したノイズ検出手法を提案し、既存の手法を上回る性能を実証したものである。
本論文は、Flow Matching 拡散モデルに基づき、適応的ステップスケジュールと badcase 駆動の VLM、そしてグループレベルの DPO を統合した「IdGlow」を提案し、複数の被写体を自然に融合させつつ、年齢変換などの複雑な構造変形においてもアイデンティティと構造的整合性を両立させることを可能にする画期的なフレームワークを提示しています。
本論文は、異なるモダリティを持つエージェント間の共起データが存在しない「モダリティ隔離」問題に対処するため、空間的対応を必要とせずコードブックを介した特徴量間変換により効率的にモダリティを整合させる新たなフレームワーク「CodeAlign」を提案し、OPV2V および DAIR-V2X データセットにおいて最先端の性能を達成したことを報告しています。
本論文は、動画レベルの圧縮分光復元を可能にする高品質な動的ハイパースペクトル画像データセット「DynaSpec」を構築し、時空間特徴の伝播を活用して復元品質と時間的一貫性を向上させた新しいモデル「PG-SVRT」を提案するとともに、実世界でのベンチマーク評価を行う包括的な研究です。
本論文は、3D データのクラス分布の偏りによる評価指標間の矛盾を解決するため、クラスごとの保持クォータと事前分布不変な教師あり学習を組み合わせた新しいデータセット剪定手法を提案し、複数の 3D データセットにおいて精度と平均精度の両方を向上させることを示しています。
本論文は、深度の曖昧さや空間的な分散による誤整合を解消するため、レーダーを基準とした幾何学的合意を確立し、4D レーダーとカメラのデータを融合する初の協調知覚フレームワーク「RC-GeoCP」を提案し、通信オーバーヘッドを大幅に削減しながら最先端の性能を達成することを示しています。
既存のマルチモーダル大規模言語モデルが抱える視覚特徴の階層的抽象化による詳細情報の消失や言語モデルとの分布ミスマッチの問題を解決するため、視覚エンコーダ内部に再帰的に更新されるクロスレイヤメモリを導入し、表現進化を制御する新しいフレームワーク「SCVM」を提案し、言語モデルの微調整や追加の視覚エンコーダなしで複数のベンチマークにおいて一貫した性能向上を実現したことを示しています。
本論文は、病理医がスライドを閲覧する際の「広範囲に探索し、関心領域を詳細に確認する」という人間の視覚的アプローチを模倣し、質問に応じた組織領域と情報量の多いパッチを段階的に選択するフレームワーク「HistoSelect」を提案することで、計算効率を大幅に向上させながら病理質問応答の精度と解釈可能性を高めることを目指しています。
本論文は、低磁場 MRI の undersampled k-space データから高画質画像を直接再構築する新たな k-space 双チャンネル U-Net フレームワークを提案し、空間領域の手法を上回る性能とフル k-space 取得に匹敵する画質の達成を実証したものである。