SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation
SCOPE 는 기존 3D 세그멘테이션 방법의 플러그 앤 플레이 백그라운드 기반 프로토타입 보강 프레임워크로, 새로운 클래스가 등장할 때 백그라운드 영역의 유사한 프로토타입을 활용하여 소량의 주석 데이터만으로도 catastrophic forgetting 을 줄이고 분산된 3D 세그멘테이션 성능을 크게 향상시킵니다.
👁️ Category
cs.CV
4144 편의 논문
BEVLM: Distilling Semantic Knowledge from LLMs into Bird's-Eye View Representations
이 논문은 자율주행의 복잡한 의사결정 및 안전성 향상을 위해 대규모 언어 모델 (LLM) 의 추론 능력을 공간적으로 일관된 비조 (Bird's-Eye View) 표현으로 증류하는 BEVLM 프레임워크를 제안하며, 이를 통해 교차 뷰 추론 정확도를 46% 그리고 안전 위기 상황에서의 종단간 주행 성능을 29% 각각 개선함을 보여줍니다.
Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion
이 논문은 텍스트, 음성, 이미지를 포함한 모든 모달리티의 이해와 생성을 통합하기 위해 마스킹 기반 이산 확산 모델을 최초로 도입한 'Omni-Diffusion'을 제안하며, 기존 자동회귀 모델 대비 효율적이고 강력한 멀티모달 기반 모델의 가능성을 입증합니다.
Multimodal Large Language Models as Image Classifiers
이 논문은 멀티모달 대규모 언어 모델 (MLLM) 의 분류 성능 저하가 모델 자체의 결함이 아니라 노이즈가 있는 라벨과 결함 있는 평가 프로토콜에서 비롯된 것이며, 이를 교정하면 기존 지도 학습 모델과의 격차가 크게 줄어들고 인간 어노테이터의 지원 도구로도 활용 가능함을 입증합니다.
Motion Illusions Generated Using Predictive Neural Networks Also Fool Humans
이 논문은 뇌의 예측 능력을 기반으로 한 생성 모델 (EIGen) 을 통해 새로운 시각적 운동 착시를 생성하고 인간 실험을 통해 이를 검증함으로써, 착시가 실제 시각 입력이 아닌 뇌의 예측에 따른 결과일 수 있음을 시사하며 인공지능 연구에 '동기 부여된 실패'라는 새로운 관점을 제시합니다.
Seeing Through Uncertainty: A Free-Energy Approach for Real-Time Perceptual Adaptation in Robust Visual Navigation
이 논문은 뇌의 자유 에너지 원리를 차용하여 예측 오차와 베이지안 놀라움을 기반으로 실시간 지각 적응을 가능하게 하는 'FEP-Nav' 프레임워크를 제안함으로써, 다양한 감각 왜곡 환경에서도 로봇의 내비게이션 성능을 기존 적응형 모델보다 훨씬 강력하게 회복시킨다고 설명합니다.
InstructHumans: Editing Animated 3D Human Textures with Instructions
이 논문은 원본 아바타의 일관성을 해치지 않으면서 텍스트 명령에 따라 애니메이션 3D 인간 텍스처를 고품질로 편집할 수 있도록 기존 Score Distillation Sampling(SDS) 을 개선한 'InstructHumans' 프레임워크를 제안합니다.
EasyAnimate: High-Performance Video Generation Framework with Hybrid Windows Attention and Reward Backpropagation
이 논문은 하이브리드 윈도우 어텐션, 보상 역전파, 토큰 길이 기반 학습 전략 등을 통해 학습 및 추론 효율성과 비디오 생성 품질을 동시에 극대화한 고품질 비디오 생성 프레임워크 'EasyAnimate'를 제안합니다.
Motion-Aware Animatable Gaussian Avatars Deblurring
이 논문은 실제 환경에서 발생하는 모션 블러가 포함된 멀티뷰 비디오로부터 3D-aware 물리 기반 모델과 모션 모델을 결합하여 선명한 3D 인간 가바타를 직접 재구성하는 새로운 방법을 제안합니다.
Track Anything Behind Everything: Zero-Shot Amodal Video Object Segmentation
이 논문은 사전 학습된 비디오 확산 모델을 테스트 시에 미세 조정하여 재학습 없이 단일 쿼리 마스크만으로 완전한 가림 상황에서도 유연한 제로샷 아모달 비디오 객체 분할을 수행하는 새로운 파이프라인 'TABE'를 제안합니다.
Learnable Sparsity for Vision Generative Models
이 논문은 재학습 없이도 확산 모델의 구조적 가지치기를 가능하게 하는 학습 가능한 희소성 프레임워크를 제안하여, SDXL 및 FLUX 와 같은 최신 모델에서 20% 의 파라미터를 제거하면서도 성능 저하를 최소화하고 메모리 효율성을 높이는 방법을 제시합니다.
Flatness Guided Test-Time Adaptation for Vision-Language Models
이 논문은 시각 - 언어 모델의 테스트 시간 적응 (TTA) 성능을 향상시키기 위해 훈련 시 획득한 평탄성 (flatness) 을 활용하여 훈련과 테스트 단계를 통합하는 'Flatness-Guided Adaptation (FGA)' 프레임워크를 제안하고, 기존 방법 대비 계산 오버헤드를 줄이면서 다양한 도메인 일반화 및 교차 데이터셋 벤치마크에서 우수한 성능을 입증합니다.
3D Dynamics-Aware Manipulation: Endowing Manipulation Policies with 3D Foresight
이 논문은 2D 비전 기반의 한계를 넘어 3D 세계 모델링과 자기지도 학습을 통합하여 조작 정책이 깊이 방향 움직임을 예측하고 수행할 수 있도록 한 '3D 동역학 인식 조작' 프레임워크를 제안합니다.
MedFuncta: A Unified Framework for Learning Efficient Medical Neural Fields
이 논문은 대규모 의료 데이터셋에 대한 효율적인 신경장 (Neural Fields) 학습을 가능하게 하는 통합 프레임워크 'MedFuncta'를 제안하고, 희소 감독을 통한 확장 가능한 메타학습 전략과 새로운 활성화 함수 설계를 통해 다양한 의료 신호에 대한 일반화 성능을 입증하며 관련 코드와 대규모 데이터셋을 공개합니다.
RapidPoseTriangulation: Multi-view Multi-person Whole-body Human Pose Triangulation in a Millisecond
이 논문은 여러 시점과 다수의 사람에 대한 전신 자세 삼각측량을 밀리초 단위로 수행하면서도 일반화 성능이 뛰어난 새로운 알고리즘 'RapidPoseTriangulation'을 제안하고 있습니다.
Noise2Ghost: Self-supervised deep convolutional reconstruction for ghost imaging
이 논문은 청정 참조 데이터 없이도 노이즈가 많은 acquisitions 에서 탁월한 재구성 품질을 제공하는 자기지도 학습 기반의 딥러닝 고스트 이미징 재구성 방법인 'Noise2Ghost'를 제안하며, 이를 통해 저조도 X 선 형광 이미징 등 다양한 첨단 응용 분야에서 신호 대 잡음비 문제를 해결할 수 있음을 보여줍니다.
Collaborative Learning of Local 3D Occupancy Prediction and Versatile Global Occupancy Mapping
이 논문은 과거의 전역 점유율 맵을 장기 기억 사전 지식으로 활용하여 국부 3D 점유율 예측의 정확도를 높이고, 동시에 새로운 관측 데이터로 전역 맵을 지속적으로 업데이트하는 'LMPOcc'라는 새로운 프레임워크를 제안합니다.
PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing
이 논문은 rPPG 신호의 조명 변화 및 모션 아티팩트 문제를 해결하기 위해 대규모 언어 모델 (LLM) 과 도메인 특화 rPPG 구성 요소를 시너지 있게 결합한 'PhysLLM' 프레임워크를 제안하고, 텍스트 프로토타입 안내 (TPG) 전략과 듀얼 도메인 정적 (DDS) 알고리즘을 통해 기존 방법보다 뛰어난 정확도와 강건성을 입증했습니다.
ReactDance: Hierarchical Representation for High-Fidelity and Coherent Long-Form Reactive Dance Generation
이 논문은 정교한 공간적 상호작용과 장기적인 시간적 일관성을 동시에 해결하기 위해 계층적 유한 스칼라 양자화 (HFSQ) 와 블록 단위 국소 컨텍스트 (BLC) 전략을 도입한 확산 기반 반응형 댄스 생성 프레임워크인 ReactDance 를 제안합니다.
RESAR-BEV: An Explainable Progressive Residual Autoregressive Approach for Camera-Radar Fusion in BEV Segmentation
이 논문은 카메라와 레이더 센서를 융합하여 자율주행 환경 인식을 위한 BEV 시맨틱 분할의 정확도와 견고성을 향상시키기 위해, 점진적 잔차 자기회귀 학습과 이중 경로 볼륨 인코딩을 활용한 설명 가능한 RESAR-BEV 프레임워크를 제안합니다.