Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations
이 논문은 2D 와 3D 의 자기지도 학습을 결합한 'Concerto'를 제안하여, 인간과 유사한 다중 감각 시너지 원리를 통해 기존 최첨단 모델들을 능가하는 뛰어난 공간 표현 능력을 확보하고 다양한 3D 장면 이해 및 오픈 월드 인식 작업에서 새로운 최고 성능을 달성했음을 보여줍니다.
👁️ Category
cs.CV
5574 편의 논문
Routing Matters in MoE: Scaling Diffusion Transformers with Explicit Routing Guidance
이 논문은 언어와 시각 토큰의 본질적 차이를 고려하여 조건부 및 프로토타입 라우팅을 통해 전문가 특화를 유도하는 'ProMoE' 프레임워크를 제안함으로써, 기존 확산 트랜스포머에 적용된 MoE 의 한계를 극복하고 ImageNet 에서 최첨단 성능을 달성했다고 요약할 수 있습니다.
Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer
이 논문은 기능적 유사 뇌 영역 간의 상호작용을 학습하는 'Brain-Interaction Transformer(BIT)'를 도입하여, 기존 방법론보다 적은 fMRI 데이터로도 시각적 충실도와 객관적 성능에서 최첨단 수준을 달성하는 뇌 fMRI 기반 이미지 재구성 모델 'Brain-IT'를 제안합니다.
See the Speaker: Crafting High-Resolution Talking Faces from Speech with Prior Guidance and Region Refinement
이 논문은 단일 음성 입력만으로 고해상도 고품질 말하는 얼굴 영상을 생성하기 위해, 음성 기반 확산 모델을 활용한 초상화 생성, 잠재 공간 내 표현적 동역학 통합 및 지역 향상 모듈을 통한 구강 동기화 최적화, 그리고 Transformer 기반 이산 코드북을 활용한 디테일 향상을 결합한 새로운 접근법을 제안합니다.
ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning
이 논문은 텍스트와 이미지가 상호보완적으로 작용하는 인터리브드 체인 오브 씽킹을 학습한 ThinkMorph 모델을 제안하여, 비전 중심 벤치마크에서 큰 성능 향상을 보일 뿐만 아니라 미지의 시각 조작 능력과 적응형 추론 전환 등 다양한 emergen t 능력을 발휘함을 입증했습니다.
Revisiting Data Scaling in Medical Image Segmentation via Topology-Aware Augmentation
본 논문은 의료 이미지 분할이 데이터 양에 따라 전역적 스케일링 법칙을 따르지만 기하학적 구조에 의해 성능 한계가 존재함을 규명하고, 위상 인식 증강 기법이 이러한 한계 내에서 데이터 효율성을 향상시킨다는 것을 15 가지 작업에 대한 대규모 실험을 통해 입증했습니다.
VeCoR -- Velocity Contrastive Regularization for Flow Matching
본 논문은 유동 매칭 (Flow Matching) 모델의 궤적 안정성과 생성 품질을 향상시키기 위해, 목표 방향 정렬과 오프-매니폴드 방향 반발을 동시에 수행하는 '속도 대비 정규화 (VeCoR)'를 제안하여 저단계 및 경량 설정에서도 FID 점수를 크게 개선함을 보여줍니다.
UltraViCo: Breaking Extrapolation Limits in Video Diffusion Transformers
이 논문은 비디오 확산 트랜스포머의 길이 외삽 한계를 해결하기 위해 어텐션 분산 현상을 규명하고, 이를 억제하는 훈련 없는 플러그인 방법인 UltraViCo 를 제안하여 기존 방법 대비 4 배의 외삽 성능과 품질 향상을 달성함을 보여줍니다.
ReSAM: Refine, Requery, and Reinforce: Self-Prompting Point-Supervised Segmentation for Remote Sensing Images
이 논문은 원격 탐사 이미지의 도메인 차이와 밀집 주석 부족 문제를 해결하기 위해, 희소 점 주석만으로 Segment Anything Model(SAM) 을 적응시키고 점-박스-강화의 반복 루프를 통해 자기 프롬핑 및 의미 정렬을 수행하는 'ReSAM' 프레임워크를 제안하고 다양한 벤치마크에서 우수한 성능을 입증합니다.
InnoGym: Benchmarking the Innovation Potential of AI Agents
이 논문은 기존 벤치마크가 간과한 해결책의 다양성과 독창성을 평가하기 위해 성능 향상과 신규성 지표를 도입한 AI 에이전트의 혁신 잠재력 평가 프레임워크인 'InnoGym'을 제안하고, 창의성과 효과성 간의 간극을 실증적으로 분석합니다.
AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition
이 논문은 인간의 능동적 시각 메커니즘에서 영감을 받아, 강화 학습과 'Decoupled Turn Policy Optimization (DTPO)' 기법을 통해 각 샘플에 필요한 최소한의 시각 토큰을 자율적으로 결정하고 필요한 경우에만 추가 정보를 획득하는 효율적인 비전 - 언어 모델 'AdaptVision' 을 제안합니다.
Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models
이 논문은 푸리에 분석을 통해 이미지의 구조적 특징과 스타일적 특징을 명시적으로 분리하는 '푸리에 주의 기반 표현 학습 (FARL)' 프레임워크를 제안하여, 비전 - 언어 모델의 소수 샷 일반화 성능을 향상시키는 방법을 제시합니다.
Near--Real-Time Conflict-Related Fire Detection in Sudan Using Unsupervised Deep Learning
이 논문은 4 밴드 플래닛랩스 위성 영상을 기반으로 한 경량 비지도 변이 오토인코더 (VAE) 모델을 개발하여 수단 내 분쟁 관련 화재 지역을 24~30 시간 이내로 탐지하는 데 기존 방법들보다 높은 성능을 보였음을 입증합니다.
Family Matters: A Systematic Study of Spatial vs. Frequency Masking for Continual Test-Time Adaptation
이 논문은 Mask to Adapt (M2A) 프레임워크를 통해 continual test-time adaptation 에서 선택 전략을 고정하고 공간적 및 주파수적 마스킹 패밀리를 체계적으로 비교한 결과, 아키텍처와 작업에 따라 마스킹 패밀리가 적응의 성패를 결정하며 특히 패치 토큰화 아키텍처에서는 공간적 마스킹이 구조 보존을 통해 주파수적 마스킹의 치명적 불안정성을 극복함을 규명했습니다.
Brain-Semantoks: Learning Semantic Tokens of Brain Dynamics with a Self-Distilled Foundation Model
이 논문은 fMRI 시계열 데이터의 노이즈와 시간적 변동을 극복하고 추상적인 뇌 역동성을 학습하기 위해 의미 토크나이저와 자기 증류 목표를 도입한 'Brain-Semantoks'라는 자기지도 학습 프레임워크를 제안하며, 이를 통해 소량의 라벨 데이터로도 다양한 하위 작업에서 뛰어난 성능과 도메인 적응 없이도 분포 외 일반화 능력을 달성함을 보여줍니다.
-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment
이 논문은 다양한 텍스트 세분성 수준과 시각 영역 간의 계층적 정렬을 위해 크로스 어텐션 기반의 다중 세분성 텍스트 조건부 대비 학습 프레임워크인 -CLIP 을 제안하며, 이를 통해 하드 네거티브 없이도 기존 CLIP 기반 방법론들보다 우수한 밀집 비전 - 언어 정렬 성능을 달성함을 보여줍니다.
CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives
이 논문은 단안 비디오에서 물리적으로 타당한 인간 운동과 시나리오 기하학을 복원하여 로봇 및 AR/VR 의 실사 - 시뮬레이션 (Real2Sim) 응용을 획기적으로 개선하는 'CRISP' 방법을 제안합니다.
SoFlow: Solution Flow Models for One-Step Generative Modeling
이 논문은 확산 및 흐름 매칭 모델의 다단계 생성 과정이 초래하는 비효율성을 해결하기 위해, 자코비안-벡터 곱 (JVP) 계산 없이 Classifier-Free Guidance 를 지원하며 ImageNet 에서 MeanFlow 보다 우수한 성능을 보이는 새로운 원스텝 생성 프레임워크인 'Solution Flow Models (SoFlow)'를 제안합니다.
AI-Powered Dermatological Diagnosis: From Interpretable Models to Clinical Implementation A Comprehensive Framework for Accessible and Trustworthy Skin Disease Detection
이 논문은 가족력 데이터를 임상 이미지와 결합한 해석 가능한 다중 모달 AI 프레임워크를 개발하여 피부 질환의 진단 정확도를 향상시키고, 향후 다양한 의료 환경에서의 전향적 임상 검증을 통해 임상 현장에 효과적으로 적용할 수 있는 포괄적인 체계를 제시합니다.
GeoTeacher: Geometry-Guided Semi-Supervised 3D Object Detection
이 논문은 제한된 라벨 데이터 환경에서 3D 객체 감지 성능을 향상시키기 위해, 교사 모델의 기하학적 지식을 전달하는 키포인트 기반 기하 관계 감독 모듈과 거리 감쇠 메커니즘을 포함한 볼륨 단위 데이터 증강 전략을 제안하는 'GeoTeacher'를 소개합니다.