OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
이 논문은 학습 중 업데이트 규칙을 동적으로 선택하는 확률적 메타 옵티마이저 'OptiRoulette'를 제안하며, CIFAR-100 등 다양한 이미지 분류 작업에서 기존 AdamW 대비 최대 5.3 배 빠른 수렴 속도와 더 높은 정확도를 달성하는 것을 입증합니다.
🤖 Category
cs.LG
8581 편의 논문
Correlation Analysis of Generative Models
이 논문은 확산 모델과 흐름 매칭을 위한 통일된 선형 표현을 제안하고, 기존 모델에서 노이즈 데이터와 예측 목표 간의 상관관계가 약할 수 있음을 이론적으로 분석하여 학습 과정에 미치는 영향을 규명합니다.
Annealed Co-Generation: Disentangling Variables via Progressive Pairwise Modeling
이 논문은 고차원 확산 모델링의 계산적 부담과 데이터 불균형 문제를 해결하기 위해, 변수를 쌍으로 분해하여 학습한 후 공유 변수를 통해 결합하는 '어닐링 공동 생성 (ACG)' 프레임워크를 제안하고 유동장 완성 및 항체 생성과 같은 과학적 과제에서 그 유효성을 입증합니다.
RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models
이 논문은 다중 LLM 시스템에서 오분류 위험을 통제하면서도 비용과 성능의 균형을 최적화하기 위해, 단일 모델 선택을 넘어 신뢰할 수 있는 모델 집합을 동적으로 구성하는 새로운 라우팅 방법인 RACER 를 제안하고 그 이론적 보장 및 성능 개선을 입증합니다.
Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
이 논문은 autoregressive 와 확산 (diffusion) 생성 방식을 통합한 'Evo'라는 새로운 대규모 언어 모델을 제안하며, 토큰의 의미적 성숙도에 따라 두 방식을 동적으로 균형 있게 조정하여 추론 속도와 생성 품질을 동시에 극대화한다는 점을 강조합니다.
Distilling and Adapting: A Topology-Aware Framework for Zero-Shot Interaction Prediction in Multiplex Biological Networks
이 논문은 맥락 인식 표현 학습과 지식 증류, 토폴로지 인식 그래프 토크나이저를 활용하여 기존 방법의 한계를 극복하고 다중 생물학적 네트워크에서 미지의 개체에 대한 제로샷 상호작용 예측 성능을 획기적으로 개선하는 새로운 프레임워크를 제안합니다.
Not all tokens are needed(NAT): token efficient reinforcement learning
이 논문은 강화 학습 (RL) 의 계산 비용과 메모리 부담을 줄이기 위해 생성된 토큰의 일부만 선택하여 학습하는 'NAT'프레임워크를 제안하며, 이를 통해 전체 토큰을 사용하는 것과 동등한 성능을 유지하면서 GPU 메모리 및 학습 시간을 크게 절감할 수 있음을 입증합니다.
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
이 논문은 기술 문서의 계층적 구조를 활용한 계층적 검색과 자동 생성 테스트 케이스를 통한 자기 디버깅 에이전트를 도입하여 복잡한 그래프 추론 작업의 정확도를 높이고 추론 비용을 줄이는 'GraphSkill' 프레임워크와 새로운 평가 데이터셋을 제안합니다.
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
이 논문은 최신 프로세스 보상 모델 (PRM) 이 추론 검증자보다는 유창성 탐지기로 작동하여 적대적 공격에 취약하다는 점을 드러내고, 이를 진단하기 위한 3 단계 프레임워크와 평가 도구인 PRM-BiasBench 를 제안합니다.
From ARIMA to Attention: Power Load Forecasting Using Temporal Deep Learning
이 논문은 PJM 전력 소비 데이터를 활용하여 ARIMA, LSTM, BiLSTM, Transformer 모델을 비교 평가한 결과, 자기 주의 메커니즘을 기반으로 한 Transformer 모델이 3.8% 의 MAPE 로 가장 높은 정확도와 강건성을 보여 전력 부하 예측에 있어 딥러닝 기반 어텐션 아키텍처의 우수성을 입증했습니다.
Advances in GRPO for Generation Models: A Survey
본 논문은 생성 모델의 인간 선호도 정렬을 위한 새로운 프레임워크인 Flow-GRPO 의 방법론적 발전과 텍스트, 비디오, 3D, 음성 등 다양한 생성 작업으로의 확장 적용을 종합적으로 검토하고 주요 과제를 제시하는 서베이입니다.
Exploration Space Theory: Formal Foundations for Prerequisite-Aware Location-Based Recommendation
이 논문은 지식 공간 이론을 위치 기반 추천에 적용하여 방문 순서의 전제 조건을 격자 이론으로 형식화하고, 이를 바탕으로 구조적 유효성 보장을 제공하는 '탐색 공간 추천 시스템 (ESRS)'을 제안합니다.
Pavement Missing Condition Data Imputation through Collective Learning-Based Graph Neural Networks
이 논문은 센서 오류 등으로 인해 불완전한 도로 포장 상태 데이터를 해결하기 위해, 인접 구간 특성과 관측된 구간 간 의존성을 모두 학습하는 집단 학습 기반 그래프 합성곱 신경망 (GCN) 모델을 제안하고 텍사스 주 교통부 데이터를 통해 그 유효성을 입증했습니다.
Grouter: Decoupling Routing from Representation for Accelerated MoE Training
이 논문은 사전 학습된 MoE 모델에서 고품질 구조를 추출하여 고정된 라우팅을 적용함으로써 구조 최적화와 가중치 업데이트를 분리하는 'Grouter'를 제안하여 MoE 학습의 수렴 속도와 효율성을 획기적으로 개선합니다.
T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation
이 논문은 온라인 장바구니 추천의 고유한 도전을 해결하기 위해 짧은 기간의 장바구니 의존성과 장기적인 사용자 선호도를 모두 학습하여 차원을 축소하면서도 추천 품질을 유지하는 새로운 트랜스포머 아키텍처인 T-REX 를 제안하고, 기존 모델보다 향상된 성능을 입증했습니다.
Leakage Safe Graph Features for Interpretable Fraud Detection in Temporal Transaction Networks
이 논문은 시간적 누출을 방지하는 인과적 그래프 특징 추출 프로토콜을 제안하여, 거래 속성만으로는 포착하기 어려운 네트워크 구조적 패턴을 활용함으로써 해석 가능한 사기 탐지 성능을 향상시키고 위험 분석 워크플로우를 지원함을 보여줍니다.
A new Uncertainty Principle in Machine Learning
이 논문은 머신러닝에서 다항식 해 탐색 시 발생하는 심한 퇴화 현상을 '최소값이 날카로울수록 계곡이 매끄러워지는' 새로운 불확정성 원리로 규명하고, 이를 푸리에 및 웨이블릿 분석의 불확정성 원리를 확장한 물리학적 현상으로 해석합니다.
Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy
이 논문은 소규모 언어 모델의 그래프 속성 추론 성능이 모델의 규모뿐만 아니라 이웃 구조를 보존하는 입력 표현 방식과 다중 분기 추론 전략과 같은 구조적 조직화 및 추론 설계에 크게 의존한다는 것을 체계적으로 규명했습니다.
SmartBench: Evaluating LLMs in Smart Homes with Anomalous Device States and Behavioral Contexts
이 논문은 스마트 홈 환경의 비정상적인 상태와 행동 맥락을 감지하는 대형 언어 모델 (LLM) 의 능력을 평가하기 위해 고안된 최초의 벤치마크 'SmartBench'를 소개하고, 기존 최첨단 모델들이 이러한 비정상 상태 감지에서 여전히 미흡한 성능을 보임을 실험을 통해 입증했습니다.
HEARTS: Benchmarking LLM Reasoning on Health Time Series
이 논문은 다양한 건강 시계열 데이터와 110 가지의 과제를 포함하는 통합 벤치마크 'HEARTS'를 제안하여, 현재 대규모 언어 모델 (LLM) 이 전문 모델에 비해 건강 시계열 추론에서 심각한 한계를 보이며 단순한 휴리스틱에 의존하고 시간적 복잡도가 증가할수록 성능이 저하된다는 사실을 규명했습니다.