Planner Aware Path Learning in Diffusion Language Models Training
이 논문은 확산 언어 모델의 훈련과 계획 기반 추론 간의 불일치를 해결하기 위해 계획가 인식을 통한 경로 학습 (PAPL) 을 제안하여, 훈련 목표에 계획 기반 역동성을 통합함으로써 다양한 도메인에서 성능을 크게 향상시킵니다.
🤖 Category
cs.LG
9183 편의 논문
Diffusion Alignment as Variational Expectation-Maximization
이 논문은 보상 과최적화와 모드 붕괴 문제를 해결하기 위해 테스트 시간 탐색과 모델 정제를 반복하는 '확산 정렬을 위한 변분 기대-최대화 (DAV)' 프레임워크를 제안하여 텍스트 - 이미지 합성 및 DNA 서열 설계 등 다양한 작업에서 보상 최적화와 다양성 유지의 균형을 달성함을 보여줍니다.
Online Minimization of Polarization and Disagreement via Low-Rank Matrix Bandits
이 논문은 프리드킨 - 존슨 의견 동역학 모델에서 선천적 의견이 불완전한 온라인 환경 하에서 극화와 불일치를 최소화하기 위해 저랭크 행렬 밴딧을 기반으로 한 2 단계 알고리즘을 제안하고, 이를 통해 누적 후회를 효과적으로 줄이는 방법을 제시합니다.
Self-Speculative Masked Diffusions
이 논문은 최종 어텐션 마스크를 비인과적에서 인과적으로 변경하여 드래프트 토큰 생성과 병렬 검증을 가능하게 함으로써, 이산 데이터 생성 시 표준 마스킹 확산 모델 대비 네트워크 순전파 횟수를 약 2 배 줄인 '자기-예측 마스킹 확산 (Self-Speculative Masked Diffusions)'을 제안합니다.
TCR-EML: Explainable Model Layers for TCR-pMHC Prediction
이 논문은 TCR-pMHC 결합 예측의 정확성을 유지하면서 알려진 생화학적 결합 메커니즘을 기반으로 한 프로토타입 레이어를 도입하여 예측의 근거를 직접 설명할 수 있는 '설명 가능한 모델 레이어 (TCR-EML)'를 제안합니다.
Decoding Partial Differential Equations: Cross-Modal Adaptation of Decoder-only Models to PDEs
이 논문은 기존 방법론을 그대로 적용할 경우 편미분방정식 (PDE) 과 같은 과학적 머신러닝 작업에서 디코더 전용 모델이 인코더 전용 모델보다 성능이 낮음을 규명하고, '병렬 뒤집기 (Parallel Flipping)'와 '시퀀스 더블링 (Sequence Doubling)'이라는 두 가지 새로운 양방향 모방 기법을 통해 디코더 전용 모델의 성능을 크게 향상시켜 인코더 모델과의 격차를 해소함을 보여줍니다.
How Reliable is Language Model Micro-Benchmarking?
이 논문은 언어 모델의 효율적인 평가를 위해 제안된 마이크로 벤치마킹이 모델 간 성능 차이를 일관되게 순위 매기기에는 신뢰성이 부족하며, 특히 성능 차이가 작은 모델들을 구별하려면 무작위 샘플링과 유사한 수준의 큰 데이터셋 (약 250 개) 이 필요함을 실증적으로 보여줍니다.
CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas
이 논문은 구조적 전역 사전지식을 제공하는 '캔버스'와 운동 인식 샘플링 순서 등을 도입하여, 적은 샘플링 단계로도 고품질의 비디오를 생성하고 확산 기반 방법과 경쟁할 수 있는 새로운 오토레거시 비디오 예측 모델인 CanvasMAR 를 제안합니다.
Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence
이 논문은 외부 검증자 (인간 또는 더 나은 모델) 를 통해 합성 데이터의 정보를 주입하면 모델 붕괴를 방지하고 단기적인 성능 향상을 이끌어낼 수 있음을 이론적으로 증명하고, 선형 회귀부터 VAE 및 LLM 미세조정 실험을 통해 이를 검증했습니다.
Mixed Monotonicity Reachability Analysis of Neural ODE: A Trade-Off Between Tightness and Efficiency
이 논문은 신경 ODE 의 도달 가능 집합을 계산하기 위해 연속 시간 혼합 단조성 기법을 활용한 새로운 구간 기반 도달성 분석 방법을 제안하여, CORA 와 NNV2.0 대비 계산 효율성을 높이는 대신 정확도 (tightness) 를 일부 희생하는 트레이드오프를 통해 고차원 및 실시간 안전-중요 응용 분야에 적합한 경량 형식 분석 도구를 제시합니다.
Real-Time Learning of Predictive Dynamic Obstacle Models for Robotic Motion Planning
이 논문은 부분적이고 잡음이 섞인 데이터로부터 실시간으로 비선형 예측 모델을 학습하기 위해 슬라이딩 윈도우 행크el DMD, 페이지 행렬 기반 특이값 임계값 처리, 그리고 카다조프 투영을 결합한 온라인 프레임워크를 제안하며, 이를 통해 잡음 제거와 다단계 예측을 수행하여 로봇 운동 계획에 통합 가능한 안정적인 분산 인식 능력을 입증했습니다.
KLASS: KL-Guided Fast Inference in Masked Diffusion Models
이 논문은 추가 학습 없이 토큰 수준의 KL 발산을 활용해 안정적이고 신뢰도 높은 예측을 식별하여 여러 토큰을 동시에 언마스크하는 'KL-Adaptive Stability Sampling(KLASS)'을 제안함으로써, 마스킹 확산 모델의 추론 속도를 획기적으로 개선하면서도 생성 품질을 유지하거나 향상시킵니다.
CADM: Cluster-customized Adaptive Distance Metric for Categorical Data Clustering
이 논문은 범주형 데이터의 클러스터별 특성 분포를 반영하여 거리 측정을 적응적으로 조정하는 '클러스터 맞춤 적응 거리 척도 (CADM)'를 제안하고, 이를 수치 및 범주형 데이터가 혼합된 데이터에도 확장하여 다양한 데이터셋에서 탁월한 클러스터링 성능을 입증했습니다.
FireScope: Wildfire Risk Prediction with a Chain-of-Thought Oracle
이 논문은 Sentinel-2 위성 영상과 기후 데이터를 결합한 대규모 벤치마크 'FireScope-Bench'와 강화 학습 및 시각적 감독을 통해 사고 과정 (Chain-of-Thought) 을 생성하며 산불 위험 지도를 예측하는 'FireScope' 모델을 제안하여, 언어 기반 추론이 시각 생성 모델의 일반화 성능과 해석 가능성을 크게 향상시킨다는 것을 입증합니다.
EgoCogNav: Cognition-aware Human Egocentric Navigation
이 논문은 인간의 인지적 요인을 고려한 새로운 다중 모달 내비게이션 프레임워크 'EgoCogNav'와 실제 세계 데이터셋 'CEN'을 제안하여, 인간의 내비게이션 행동과 관련된 지각된 불확실성을 예측하고 이를 통해 인간과 유사한 행동 패턴을 학습하는 것을 목표로 합니다.
SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization
이 논문은 추론 모델의 테스트 시간 적응 시 발생하는 수렴 문제를 해결하기 위해, 고엔트로피 분기 토큰만 선택적으로 업데이트하고 엔트로피 밴드 정규화를 적용하여 라벨 없이도 안정적이고 효과적인 성능 향상을 이루는 'SPINE' 프레임워크를 제안합니다.
DAISI: Data Assimilation with Inverse Sampling using Stochastic Interpolants
이 논문은 복잡한 동역학 시스템에서 고전적인 가우스 근사의 한계를 극복하고, 사전 학습된 생성 모델을 역샘플링 및 안내 기반 조건부 샘플링 기법과 결합하여 희소하고 잡음이 섞인 비선형 관측 데이터에서도 정확한 상태 추정이 가능한 확장 가능한 데이터 동화 알고리즘 'DAISI'를 제안합니다.
Diffusion Fine-Tuning via Reparameterized Policy Gradient of the Soft Q-Function
이 논문은 보상 과최적화 문제를 해결하고 다양성을 유지하면서 타겟 보상을 극대화하기 위해, 재파라미터화된 정책 경사와 소프트 Q-함수 추정을 기반으로 한 새로운 KL-정규화 강화학습 방법인 SQDF 를 제안합니다.
Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity
이 논문은 강화 학습 기반의 추론 모델이 겪는 다양성 손실 문제를 해결하기 위해, 정답만 필터링한 명시적 타겟 분포를 -다이버전스family 를 통해 근사함으로써 정밀도와 다양성 사이의 균형을 조절하고 Lean 정리 증명 벤치마크에서 기존 방법보다 우수한 성능을 달성하는 새로운 접근법을 제시합니다.
A-3PO: Accelerating Asynchronous LLM Training with Staleness-aware Proximal Policy Approximation
이 논문은 비동기 LLM 학습 시 발생하는 계산 오버헤드를 줄이기 위해 근사 정책을 단순 보간으로 대체하는 'A-3PO'를 제안하여 학습 속도를 1.8 배 향상시키면서도 성능은 유지하는 방법을 제시합니다.