Summer-22B: A Systematic Approach to Dataset Engineering and Training at Scale for Video Foundation Model
本論文は、約 5,000 万の動画クリップからゼロから構築された大規模動画基盤モデル「Summer-22B」の開発において、データセットエンジニアリングが最も重要な要素であり、メタデータ駆動型のキュレーションやμP パラメータ化などの技術的知見を体系的に報告したものです。
5805 件の論文
本論文は、約 5,000 万の動画クリップからゼロから構築された大規模動画基盤モデル「Summer-22B」の開発において、データセットエンジニアリングが最も重要な要素であり、メタデータ駆動型のキュレーションやμP パラメータ化などの技術的知見を体系的に報告したものです。
GUI 環境における KV キャッシュの過剰なメモリ使用量と遅延を解消するため、UI 要素の空間的注目度と操作軌道の意味的冗長性を考慮した新しいスコアリング手法「ST-Lite」を提案し、学習なしでキャッシュサイズを大幅に削減しながら高速な推論と高い性能を両立させることを実証した。
本論文は、LoRA ベースの継続的学習において、タスク共有とタスク固有の方向性をエネルギーに基づく目的関数で分離し、勾配整合最適化と閉形式の再較正を導入することで、知識の共有と干渉の回避を両立する新しい手法「LoDA」を提案し、既存手法を上回る性能を実証したものである。
本論文は、動画生成モデルにおける透かし抽出の同期依存性と時間的歪みへの脆弱性を解決するため、フレーム順序に依存しないシャッフルキー方式と時間的歪みに耐性のある差分アテンション機構を導入した、高忠実度かつ高頑健なテキストから動画への生成透かしフレームワーク「SKeDA」を提案するものです。
この論文は、ADE20K データセットで有効性が示された概念誘導に基づく CNN 隠れニューロンの解釈性フレームワークが、大規模なシーン認識ベンチマークである SUN2012 データセットにも適用可能であることを実証したケーススタディです。
本論文は、アテンションと状態空間モデル(Mamba)を混在させるハイブリッド型長動画 VLM において、トークンの重要度が層間で変動する特性を踏まえ、段階的な削減スケジュールと言語意識型スコアリングを導入することで、精度を維持しつつプリフィル速度を大幅に向上させる手法を提案しています。
本論文は、放射線報告の曖昧さや多ラベルデータにおける「不確実性」ラベルの扱いを改善するため、解剖学的複雑性を捉える適応的拡張畳み込みとディリクレ証拠学習を組み合わせた信頼性の高い胸疾患分類フレームワーク「AdURA-Net」を提案するものです。
この研究は、アーキテクチャの改良やハイパーパラメータ調整、スペクトル正規化などの手法を用いて SOUP-GAN と CSR-GAN を最適化し、高解像度の MRI 画像再構成においてそれぞれ異なる長所(CSR-GAN は高周波詳細とノイズ低減、SOUP-GAN は構造保持とノイズ低減)を示すことで、医療診断の精度向上に寄与する画像品質改善手法を提案したものです。
この論文は、確率的なノイズ注入を排除し、連続するステップで速度場を再利用することで推論効率を大幅に向上させつつ、スパースビュー CT 再構成の品質を維持する決定論的フローマッチングに基づく新しいフレームワーク「FMCT」とその効率的な変種「EFMCT」を提案するものです。
既存の視覚推論ベンチマークの課題を克服するため、6 つの推論領域にわたる 10 種類のタスクから構成され、生成タスクと構造的な誤答を含む選択タスクの両方を通じて厳密な検証を可能にする「TACIT Benchmark」を提案し、そのデータセットと評価基盤を公開した。
本論文は、視覚依存タスクにおける推論時の計算スケーリングに伴う視覚情報の忘却問題を解決するため、追加の強化学習ファインチューニングなしで、推論文脈に意味的に関連する視覚トークンのコアセットを再注入することで視覚的基盤を強化する「VisRef」というフレームワークを提案し、既存手法を上回る性能向上を実証しています。
この論文は、自律走行車向けにカスタマイズした CompGTSRB データセットを用いて YOLOv5 を訓練し、GAN により生成した自然な敵対的パッチ(NAPs)が物理環境において停止標識の検出精度を低下させることを、Quanser QCar 実験台を用いた一連の実験で実証し、その評価手法と防御策の必要性を示しています。
本論文は、量子状態識別に基づく「Pretty Good Measurement」を多クラス分類器として提案し、非小細胞肺癌の組織型分類や前立腺がんのリスク層別化という放射線オミクス研究において、既存の古典的手法と同等かそれ以上の性能を示すことを実証したものである。
本論文は、古典的な画像データセット(MNIST、Fashion-MNIST、SVHN)を用いて、次元削減やパッチ分割などの工夫を一切行わずに単一の量子生成モデルで高解像度かつ多様な画像を生成し、量子 Wasserstein GAN の新たな最先端性能を達成したことを報告しています。
本論文は、可視光と赤外線の両方のモダリティを同時に撹乱し、スペクトル間の不一致を軽減するために位置と色の最適化を統合した新たな敵対的パッチ生成手法「AP-PCO」を提案し、視覚・赤外線密予測タスクにおけるモデルの堅牢性評価を可能にするものである。
オゾン吸収の特徴を利用した新しい 2 手法(4 波長法と超分光法)により、反射された降下放射の影響を推定・補正し、パッシブ長波赤外線吸収測距の精度を大幅に向上させることが実証されました。
本論文は、医療画像などのマルチモーダルデータから「結果に必要かつ十分」な特徴を学習するために、確率的な必要十分性(PNS)をモダリティ不変成分とモダリティ固有成分に分解して拡張し、欠損モダリティへの頑健性と予測精度の向上を実現する手法を提案し、合成データおよび実世界医療データでその有効性を検証したものである。
Proof-of-Perception(PoP)は、マルチモーダル推論を計算可能なグラフとして表現し、各ステップにコンフォーマル保証による信頼性証明を組み込むことで、計算リソースを効率的に配分しながら誤りや幻覚を抑制し、高い精度と信頼性を両立する新しいツール利用フレームワークを提案しています。
この論文は、照度、影、色不変性などの物理的事前知識を構造化制御埋め込みモジュール(SCEM)を通じて拡散モデルに統合し、LoLv1 でのみ学習した後に他データセットでも優れた汎化性能と最先端の低照度画像增强を実現する手法を提案しています。
この論文は、血管回避や灰白質の制約を考慮しつつ、予測される知覚結果を最適化するために、電極配置を微分可能な前方モデルを用いた制約付き最適化問題として定式化し、視覚皮質インプラントの手術計画を改善するフレームワークを提案しています。