ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers
이 논문은 시각 및 촉각 데이터 간의 정교한 공간적 상관관계를 포착하기 위해 로컬 및 글로벌 위치 인코딩을 2 단계로 주입하는 트랜스포머 기반 아키텍처인 ViTaPEs 를 제안하여, 다양한 인식 작업과 로봇 그리핑에서 최첨단 성능과 제로샷 일반화 능력을 입증합니다.
🤖 Category
cs.LG
7682 편의 논문
LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
이 논문은 옵티마이저의 모멘텀과 분산까지 저랭크 서브스페이스에 투영하여 전체 모델 미세조정과 유사한 동역학을 구현함으로써, 추가 하이퍼파라미터 튜닝 없이 LoRA 의 성능 한계를 극복하고 전체 미세조정과 유사한 성능을 달성하는 새로운 방법인 LoFT 를 제안합니다.
Rethinking Continual Learning with Progressive Neural Collapse
이 논문은 기존 continual learning 의 고정된 ETF 한계를 극복하고, 새로운 작업이 추가될 때마다 ETF 를 점진적으로 확장하여 클래스 간 최대 분리성을 보장하는 'Progressive Neural Collapse (ProNC)'라는 새로운 프레임워크를 제안하고, 이를 통해 재학습 방지와 성능 향상을 동시에 달성함을 보여줍니다.
Adaptive Correction for Ensuring Conservation Laws in Neural Operators
이 논문은 신경 연산자 (Neural Operator) 의 출력에 물리 법칙 (질량 및 운동량 보존 등) 을 엄격하게 준수하도록 보장하기 위해, 학습 가능한 경량 연산자를 도입하여 유연하게 보정하는 새로운 적응형 보정 기법을 제안하고, 이를 통해 기존 방법들보다 정확도와 안정성을 크게 향상시킴을 이론적 분석과 다양한 실험을 통해 입증합니다.
ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation
이 논문은 비선형 조작 (Nonprehensile Manipulation) 환경에서 데이터 수집 효율성과 계획 신뢰성을 동시에 향상시키기 위해 잔류 물리 모델링과 불확실성 기반의 능동 학습을 결합한 'ActivePusher' 프레임워크를 제안합니다.
MMTU: A Massive Multi-Task Table Understanding and Reasoning Benchmark
이 논문은 전문가 수준의 테이블 이해, 추론, 조작 능력을 포괄적으로 평가하기 위해 25 가지 실제 태스크와 28,000 개 이상의 질문으로 구성된 대규모 벤치마크인 MMTU 를 소개하고, 최신 선두 모델들조차 이 작업에서 상당한 개선의 여지가 있음을 보여줍니다.
Leveraging chaotic transients in the training of artificial neural networks
이 논문은 학습률을 극단적으로 높여 신경망 최적화 과정을 혼돈의 시작점으로 유도함으로써, 탐색과 활용의 균형을 이루고 훈련 시간을 단축하며 학습 효율성을 극대화할 수 있음을 보여줍니다.
EROICA: Online Performance Troubleshooting for Large-scale Model Training
EROICA 는 대규모 GPU 클러스터에서 발생하는 하드웨어 및 소프트웨어 성능 문제를 실시간으로 진단하고 근본 원인을 규명하기 위해 프로파일링 기반의 미세 관찰과 차등 관측성을 활용한 최초의 온라인 문제 해결 시스템입니다.
BemaGANv2: Discriminator Combination Strategies for GAN-based Vocoders in Long-Term Audio Generation
이 논문은 AMP 모듈과 Multi-Envelope Discriminator(MED) 를 도입하여 장기간 오디오 생성의 일관성과 고음질을 향상시키고, 다양한 판별자 조합 전략을 체계적으로 평가한 BemaGANv2 를 제안합니다.
Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients
이 논문은 데이터와 모델의 이질성을 모두 고려하여 개인화 연동 학습의 현실적 적용을 가능하게 하는 'Co-LoRA' 프레임워크와 새로운 멀티모달 벤치마크를 제안하고, 이를 통해 기존 방법론보다 우수한 성능을 입증했습니다.
Efficient Algorithms for Logistic Contextual Slate Bandits with Bandit Feedback
이 논문은 로지스틱 컨텍스트 슬레이트 밴딧 문제에서 국소적 계획과 전역적 학습을 결합하여 의 낮은 계산 비용으로 의 후회 (regret) 를 달성하는 효율적인 알고리즘을 제안하고, 이를 언어 모델의 프롬프트 예제 선택 등 실제 응용에 성공적으로 적용함을 보여줍니다.
Sharpness-Aware Machine Unlearning
이 논문은 Sharpness-aware minimization(SAM) 의 특성을 분석하여 머신 언러닝 성능을 향상시키고, 이를 기반으로 리텐 신호 학습과 포ゲット 신호 제거를 동시에 최적화하는 'Sharp MinMax'라는 새로운 알고리즘을 제안하여 다양한 언러닝 방법론의 성능을 개선함을 보여줍니다.
Kolmogorov-Arnold Energy Models: Fast, Interpretable Generative Modeling
이 논문은 콜모고로프 - 아르놀드 표현 정리를 기반으로 한 새로운 생성 모델인 KAEM 을 제안하여, 단순한 잠재 사전 분포의 효율성과 복잡한 반복적 샘플러의 표현력 사이의 균형을 맞추면서도 빠른 추론과 해석 가능성을 동시에 달성하는 방법을 제시합니다.
From Semantic To Instance: A Semi-Self-Supervised Learning Approach
이 논문은 밀집된 작물 이미지에서 수동 주석을 최소화하면서도 형태와 질감에 초점을 맞춘 GLMask 를 도입하여 인스턴스 분할 성능을 획기적으로 향상시키는 반-자기지도 학습 접근법을 제안합니다.
Adaptive Batch-Wise Sample Scheduling for Direct Preference Optimization
이 논문은 DPO(직접 선호도 최적화) 과정 중 모델의 학습 상태 변화에 따라 배치 단위로 샘플을 동적으로 선택하는 'SamS' 알고리즘을 제안하여, 핵심 알고리즘을 수정하지 않고도 추가적인 계산 비용 없이 LLM 의 정렬 성능을 크게 향상시키는 새로운 방향을 제시합니다.
DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy
이 논문은 특정 작업별 학습이나 인간 - 로봇 쌍 데이터 없이도 단일 인간 데모만으로도 로봇이 복잡한 조작 과제를 성공적으로 수행할 수 있도록, 운동학적 리타게팅과 사전 훈련된 확산 정책을 결합한 'DemoDiffusion' 방법을 제안합니다.
Adopting a human developmental visual diet yields robust, shape-based AI vision
이 논문은 인간의 시각 발달 과정을 모방한 '발달 시각 식단 (DVD)'을 통해 AI 가 질감보다 형태에 기반한 견고하고 인간과 유사한 시각 능력을 획득할 수 있음을 보여줍니다.
Noisy PDE Training Requires Bigger PINNs
이 논문은 노이즈가 있는 데이터로 물리 정보 신경망 (PINN) 을 학습할 때, 학습 오차가 노이즈 분산 이하로 떨어지려면 네트워크 크기가 특정 임계값을 넘어야 하며 단순히 데이터 양만 늘리는 것은 효과가 없음을 이론적 하한과 실험을 통해 규명했습니다.
Towards Practical Benchmarking of Data Cleaning Techniques: On Generating Authentic Errors via Large Language Models
이 논문은 대규모 언어 모델을 활용한 테이블 파인튜닝 전략과 삼중항 표현을 통해 실제 오류 분포를 충실히 반영하는 'TableEG' 프레임워크를 제안하여, 기존 합성 오류 생성의 한계를 극복하고 데이터 정제 기술의 실용적인 벤치마킹을 가능하게 합니다.
A Robust Incomplete Multimodal Low-Rank Adaptation Approach for Emotion Recognition
이 논문은 센서 고장이나 개인정보 보호로 인한 불완전한 멀티모달 데이터의 감정 인식 성능 저하 문제를 해결하기 위해, 모달리티 조합별 특성을 고려한 저랭크 적응 기법 (MCLA) 과 표현 공간의 분리 가능성을 기반으로 동적 파라미터 미세 조정을 수행하는 (DPFT) 새로운 프레임워크인 MCULoRA 를 제안하여 기존 방법보다 뛰어난 성능을 입증했습니다.