6556 편의 논문
이 논문은 비디오 대형 언어 모델의 비효율적인 토큰 문제를 해결하기 위해 국소 및 전역 컨텍스트를 최적 수송 (Optimal Transport) 기반으로 통합하는 'AOT'라는 새로운 토큰 축소 기법을 제안하여, 학습 없이도 계산 효율성을 크게 높이면서도 시공간적 충실도를 유지하는 것을 목표로 합니다.
이 논문은 오픈 소스 접근성과 성능의 격차를 해소하기 위해 오디오와 비디오 잠재 토큰 간의 미세한 시간적 대응 관계를 공유 자기 주의 메커니즘을 통해 명시적으로 모델링하는 통합 엔드투엔드 확산 프레임워크인 UniTalking 을 제안하며, 이를 통해 고품질의 구두 얼굴 영상 생성과 개인화된 음성 클로닝을 가능하게 합니다.
이 논문은 연속적인 비디오 스트림에서 실시간으로 개별 소리 발생 객체를 식별하고 추적하는 최초의 온라인 오디오 - 비주얼 인스턴스 분할 프레임워크인 SeaVIS 를 제안하며, 인과적 교차 주의 융합 모듈과 오디오 기반 대비 학습 전략을 통해 기존 오프라인 방법의 한계를 극복하고 성능을 크게 향상시켰습니다.
이 논문은 언어와 행동 토큰을 공유된 이산 코드북으로 통합하고, 행동 이해 보조 목적을 도입하며, 2 단계 정밀도 향상 생성 방식을 적용하여 자율주행의 언어 - 행동 정렬성과 추론 효율성을 동시에 개선한 'LinkVLA' 아키텍처를 제안합니다.
이 논문은 MRI 복원 작업의 물리적 특성과 열화 구조에 따라 전역 토큰 혼합 (global token mixing) 의 유용성이 달라지므로, 데이터 일관성 제약이 강한 재구성 작업에서는 경량 CNN 기반이 경쟁력 있는 반면, 공간적 이종성 잡음 제거 작업에서는 전역 토큰 혼합 모델이 더 우수한 성능을 보인다는 점을 규명했습니다.
이 논문은 사전 훈련된 CLIP 모델의 파라미터를 수정하지 않고 글로벌 어댑터, 국부 이상 스트림, 상호작용 퓨전 분류기를 결합한 이중 스트림 네트워크인 'Deepfake Forensics Adapter(DFA)'를 제안하여, 기존 방법 대비 DFDC 데이터셋에서 우수한 일반화 성능과 최첨단 검출률을 달성했다고 요약할 수 있습니다.
본 논문은 기존 이미지 중심 공격의 한계를 극복하고, 가림된 교사 강제 (masked teacher forcing) 와 거부 패널티 등을 활용한 보편적 에너지 - 지연 공격 프레임워크 'VidDoS'를 제안하여 비디오 LLM 의 추론 지연을 15 배 이상 증가시키고 자율주행 등 안전-중요 응용 분야에서 치명적인 위험을 초래할 수 있음을 입증합니다.
이 논문은 인간의 인지 효율성을 모방하기 위해 퍼지-트레이스 이론에 기반한 MM-Mem 을 제안하여, 멀티모달 비디오 에이전트가 장시간의 비디오를 이해할 때 발생하는 문맥 제한과 기억 한계를 해결하고, 의미 정보 병목 원리를 통해 정밀한 지각 정보를 고차원적 의미 스키마로 점진적으로 압축·추출하는 새로운 메모리 아키텍처를 제시합니다.
이 논문은 잡음이 포함된 탐사 궤적 데이터를 효과적으로 활용하기 위해 기존 순차적 모델링을 넘어, 역사적 핵심 프레임을 공간적 앵커로 직접 연결하는 '별도 그래프 (Star Graph)' 구조와 의미 인식 샘플링 전략을 도입한 초음파 심장 촬영 탐침 항법 시스템인 UltraStar 를 제안합니다.
이 논문은 기존 도시 환경 중심의 데이터셋 한계를 극복하기 위해 자연 환경에서 2D 및 3D 장면 이해를 위한 대규모 교차 모달 벤치마크인 WildCross 를 제안하고, 이를 통해 시각, 라이다, 교차 모달 위치 인식 및 메트릭 깊이 추정 과제를 평가할 수 있음을 보여줍니다.
이 논문은 LiDAR 기반 추적-by-attention 프레임워크의 높은 누락 오류를 해결하기 위해 '두 번째 기회 할당'과 '트랙 쿼리 드롭아웃'이라는 두 가지 새로운 훈련 전략을 도입하여 기존 추적-by-검출 방법과의 성능 격차를 해소하고 최첨단 성능을 달성한 SCATR 모델을 제안합니다.
이 논문은 데이터 주석과 추가 학습 없이 주시도 (attention maps) 와 행동 기반 관심 영역 (RoI) 을 결합하여 암묵적 추론을 가능하게 함으로써 비전 - 언어 - 행동 (VLA) 모델의 성능과 효율성을 동시에 향상시키는 새로운 프레임워크인 ATA 를 제안합니다.
이 논문은 학습되지 않은 시점에서도 간접 조명을 정확하게 모델링할 수 있도록 물리 기반의 '방사측정 일관성' 제약을 도입하여, 기존 가우시안 기반 역렌더링 방법의 정확도를 높이고 재조명 시 빠른 렌더링 속도를 달성하는 'RadioGS' 프레임워크를 제안합니다.
이 논문은 기존 웹 기반 벤치마크의 한계를 극복하고 개인 앨범의 풍부한 맥락을 반영한 'PhotoBench'를 제안하여, 단순한 시각적 매칭을 넘어 다중 소스 정보 융합과 에이전트 추론이 필요한 개인화된 의도 기반 사진 검색의 새로운 방향성을 제시합니다.
이 논문은 인간과 기계 비전 시스템의 일반화 및 강건성 간의 균형을 분석하기 위해 정보이론적 레이트-왜곡 (Rate-Distortion) 프레임워크를 도입하여, 기존 정확도 지표로는 포착되지 않는 시스템별 고유한 일반화 기하학적 특성을 규명했습니다.
이 논문은 인간 시각 모델을 활용하여 하류 작업 (객체 감지, 분할 등) 의 인식 성능을 극대화하기 위해 태스크 인지형 주의를 갖춘 양분지 네트워크와 태스크 기반 데이터셋을 제안하는 'DTI-UIE'프레임워크를 소개합니다.
본 논문은 이산적이고 선형적인 기존 모드-n 곱의 한계를 극복하기 위해 연속적이고 비선형적인 신경 연산자 기반 모드-n 연산자를 도입하여, 격자 구조 유무와 해상도 차이에 구애받지 않는 복잡한 실세계 데이터를 더 정밀하게 표현하고 근사할 수 있는 '신경 연산자 기반 연속 텐서 함수 표현 (NO-CTR)'을 제안하고 그 우수성을 입증합니다.
이 논문은 일반 VLM 을 고성능 OCR 모델로 전환하기 위해 '기하학 + 의미론' 데이터 팩토리와 3 단계 점진적 학습 전략을 도입한 FireRed-OCR 프레임워크를 제안하고, OmniDocBench 에서 SOTA 성능을 입증했습니다.
이 논문은 30g 미만의 초소형 드론의 엄격한 자원 제약 하에서도 고해상도 3D 장면 재구성이 가능하도록, GAP9 초저전력 MCU 에서 최적화된 'Tiny-DroNeRF' 모델과 이를 여러 드론 간에 분산 학습하는 연방 학습 방식을 결합한 혁신적인 접근법을 제시합니다.
이 논문은 RGB 이미지나 학습 데이터 없이도 이벤트 카메라의 프로펠러 운동 정보를 추출하여 RPM 기반 칼만 필터링을 적용함으로써 드론의 궤적을 정확하고 강건하게 예측하는 방법을 제안합니다.