Towards Understanding Subliminal Learning: When and How Hidden Biases Transfer
이 논문은 소프트 및 하드 증류 모두에서 발생하는 아의식적 학습이 전역 토큰 얽힘이나 로그 Leakage 가 아닌 소수의 발산 토큰과 초기 계층에 의해 매개되며, 프롬프트의 작은 변화로도 쉽게 억제될 수 있음을 실험과 기작 분석을 통해 규명했습니다.
🤖 Category
cs.LG
9603 편의 논문
BeyondBench: Contamination-Resistant Evaluation of Reasoning in Language Models
이 논문은 훈련 데이터 오염 문제를 해결하고 언어 모델의 진정한 추론 능력을 평가하기 위해, 10^15 개 이상의 고유한 알고리즘 문제 인스턴스를 동적으로 생성하여 검증 가능한 해답을 제공하는 'BeyondBench' 평가 프레임워크를 제안하고 다양한 모델에 대한 실험 결과를 제시합니다.
Hyperspherical Latents Improve Continuous-Token Autoregressive Generation
이 논문은 VAE 잠재 공간의 이질적인 분산을 해결하기 위해 초구면 제약 (hyperspherical constraint) 을 도입한 'SphereAR'를 제안하여, 기존 확산 모델이나 마스킹 생성 모델을 능가하는 이미지 생성 성능을 달성한 연속 토큰 자기회귀 (AR) 모델의 새로운 표준을 제시합니다.
Quantitative convergence of trained single layer neural networks to Gaussian processes
이 논문은 무한 폭 극한에서 경사 하강법으로 학습된 단일 층 신경망이 가우시안 프로세스로 수렴하는 정량적 거동을 분석하여, 학습 시간 에서 네트워크 출력과 가우시안 근사치 사이의 2 차 워asserstein 거리에 대한 명시적 상한을 제시하고 네트워크 폭에 따른 다항식 감쇠를 증명합니다.
Pretraining Large Language Models with NVFP4
이 논문은 무작위 하다마드 변환, 2 차원 양자화, 확률적 반올림, 선택적 고정밀 계층 등을 결합한 새로운 NVFP4 기반 학습 기법을 제안하여, 120 억 파라미터 모델을 10 조 개의 토큰으로 학습시켜 FP8 기준과 비교 가능한 성능을 달성하면서도 4 비트 정밀도 학습의 안정성과 효율성을 입증했습니다.
OPPO: Accelerating PPO-based RLHF via Pipeline Overlap
OPPO 는 PPO 기반 RLHF 훈련 파이프라인의 순차적 의존성과 긴 응답 길이로 인한 비효율성을 해결하기 위해 업스트림 모델 출력을 스트리밍하는 인트라-스텝 오버랩과 긴 생성을 지연시키는 인터-스텝 오버랩 기술을 도입하여, 수렴성을 저해하지 않고 훈련 속도를 1.8 배에서 2.8 배까지 가속화합니다.
VidGuard-R1: AI-Generated Video Detection and Explanation via Reasoning MLLMs and RL
이 논문은 강화학습 기반의 추론 MLLM 인 VidGuard-R1 을 통해 기존 정적 데이터셋의 한계를 극복하고, 물리 법칙에 기반한 아티팩트를 탐지하며 인간이 이해할 수 있는 설명을 제공하는 새로운 AI 생성 영상 감지 프레임워크를 제시합니다.
Non-Asymptotic Analysis of Efficiency in Conformalized Regression
이 논문은 SGD 로 훈련된 컨포말화 회귀 모델의 예측 구간 길이가 오라클 구간 길이에서 벗어나는 정도에 대한 비점근적 상한을 제시하여, 훈련 및 보정 데이터 크기와 허용 오차 수준 () 이 효율성에 미치는 영향을 규명하고 데이터 할당을 위한 통찰을 제공합니다.
Do We Really Need Permutations? Impact of Model Width on Linear Mode Connectivity
본 논문은 모델의 폭을 넓히는 것만으로도 적절한 소프트맥스 온도 보정을 통해 파라미터 정렬 없이도 선형 모드 연결성 (LMC) 을 달성할 수 있음을 실증하고, 이를 레이어별 지수 가중 연결성 (LEWC) 개념을 통해 설명합니다.
True Self-Supervised Novel View Synthesis is Transferable
이 논문은 기존 자기지도 학습 방식의 새로운 뷰 합성 모델들이 전이성이 부족하다는 문제를 지적하고, 3D 기하학적 인덕티브 바이어스나 SE(3) 와 같은 명시적 포즈 파라미터화 없이도 입력과 출력의 증강을 통해 카메라 포즈와 장면 내용을 분리하여 진정한 전이 가능한 새로운 뷰 합성을 실현한 'XFactor' 모델을 제안합니다.
CBF-RL: Safety Filtering Reinforcement Learning in Training with Control Barrier Functions
이 논문은 강화학습 정책이 학습 단계에서 제어 장벽 함수 (CBF) 를 내재화하여 안전 필터 없이도 안전한 탐색과 빠른 수렴을 가능하게 하는 'CBF-RL' 프레임워크를 제안하고, 이를 통해 Unitree G1 휴머노이드 로봇의 실제 환경에서의 안전성을 입증합니다.
Bayesian Inference for PDE-based Inverse Problems using the Optimization of a Discrete Loss
이 논문은 편미분방정식 (PDE) 기반 역문제에 대한 불확실성을 정량화하기 위해 PDE 손실 함수를 사전 지식으로 통합한 베이지안 확장 방법인 B-ODIL 을 제안하고, 다양한 차원의 합성 벤치마크 및 뇌종양 성장 모델링을 통한 실제 임상 사례를 통해 그 유효성을 입증합니다.
Schrödinger Bridge Mamba for One-Step Speech Enhancement
이 논문은 슈뢰딩거 브리지 훈련 패러다임과 Mamba 아키텍처를 결합한 '슈뢰딩거 브리지 Mamba(SBM)' 모델을 제안하여, 단 한 번의 추론 단계로 실시간 스트리밍이 가능한 고품질의 음성 향상 (잡음 제거 및 반향 제거) 을 달성함을 보여줍니다.
Breaking and Fixing Defenses Against Control-Flow Hijacking in Multi-Agent Systems
이 논문은 기존 방어 기법들이 다중 에이전트 시스템의 제어 흐름 하이재킹 공격을 효과적으로 막지 못함을 지적하고, 제어 흐름 무결성과 최소 권한 원칙에 기반하여 허용된 제어 흐름 그래프를 생성하고 강제하는 새로운 방어 시스템인 'ControlValve'를 제안합니다.
Generalization Below the Edge of Stability: The Role of Data Geometry
이 논문은 오버파라미터화된 ReLU 신경망의 일반화 성능이 데이터 기하학에 의해 결정되며, 데이터가 ReLU 활성화 임계값에 대해 쉽게 분열될수록 과적합이 발생하고 반대로 분열이 어려울 경우 공유 패턴을 포착하여 일반화가 잘 된다는 통찰을 제공합니다.
Testing Most Influential Sets
이 논문은 선형 최소제곱법을 기반으로 가장 영향력 있는 데이터 집합의 극단적 영향을 통계적으로 검정할 수 있는 엄밀한 프레임워크를 제시하여, 기존 경험적 규칙을 대체하고 경제학·생물학·머신러닝 분야에서 논쟁적이던 결과를 해결합니다.
LLEMA: Evolutionary Search with LLMs for Multi-Objective Materials Discovery
이 논문은 대규모 언어 모델의 과학적 지식과 화학 기반 진화 규칙, 그리고 메모리 기반 정제 기법을 결합하여 다중 목적을 충족하는 새로운 소재 후보를 효율적으로 탐색하는 통합 프레임워크인 LLEMA 를 제안하고, 이를 통해 기존 방법론 대비 우수한 성능을 입증했습니다.
Auto-Adaptive PINNs with Applications to Phase Transitions
이 논문은 네트워크와 그라디언트에 의존하는 문제별 휴리스틱을 기반으로 한 적응적 샘플링 방법을 제안하여, Allen-Cahn 방정식의 계면 영역을 후처리 재샘플링 없이 정확하게 해결하고 잔차 기반 적응 프레임워크보다 우수한 성능을 입증합니다.
FMint-SDE: A Multimodal Foundation Model for Accelerating Numerical Simulation of SDEs via Error Correction
이 논문은 기존 수치 적분기나 개별 모델 학습의 한계를 극복하고, 다양한 확률 미분방정식 (SDE) 시스템에서 정확도와 효율성을 동시에 향상시키기 위해 텍스트와 수치 정보를 결합한 범용 기반 모델 'FMint-SDE'를 제안합니다.
MotionStream: Real-Time Video Generation with Interactive Motion Controls
MotionStream 는 텍스트와 모션 제어를 기반으로 단일 GPU 에서 초당 29 프레임의 실시간 스트리밍 비디오 생성을 가능하게 하며, 고정된 컨텍스트 윈도우를 통해 무한히 긴 비디오를 고품질로 생성하는 새로운 접근법을 제시합니다.