Upper Generalization Bounds for Neural Oscillators
본 논문은 2 차 상미분방정식과 다층 퍼셉트론 (MLP) 으로 구성된 신경 진동자의 PAC 일반화 상한을 유도하여 MLP 의 크기와 시간 길이에 따른 오차 증가가 다항식적으로 제한되며, MLP 의 리프시츠 상수를 규제함으로써 일반화 성능을 향상시킬 수 있음을 이론적으로 증명하고 수치 실험을 통해 검증했습니다.
🤖 Category
cs.LG
5557 편의 논문
Global universality via discrete-time signatures
이 논문은 적분 조건 하에서 조각별 선형 경로의 시그니처 선형 범함수가 및 가중 노름에 대해 조밀하다는 전역 보편 근사 정리를 증명하고, 이를 브라운 운동 기반의 경로 의존적 범함수 및 확률 미분방정식의 근사에 적용합니다.
What is Missing? Explaining Neurons Activated by Absent Concepts
이 논문은 기존 설명 가능한 인공지능 (XAI) 방법이 간과해 온 '개념의 부재'가 뉴런 활성화에 미치는 영향을 규명하고, 이를 탐지하기 위한 새로운 기법을 제안하여 모델 해석과 편향 제거를 개선하는 방법을 제시합니다.
A Hybrid Quantum-Classical Framework for Financial Volatility Forecasting Based on Quantum Circuit Born Machines
본 논문은 고전 신경망 (LSTM) 과 양자 회로 Born 머신을 결합한 하이브리드 양자 - 고전 프레임워크를 제안하여 주가 변동성 예측의 정확도를 기존 고전 모델보다 크게 향상시켰음을 실증합니다.
Exploiting Label-Aware Channel Scoring for Adaptive Channel Pruning in Split Learning
이 논문은 라벨 인식 채널 중요도 점수 (LCIS) 를 기반으로 덜 중요한 채널을 적응적으로 제거하여 분할 학습의 통신 오버헤드를 줄이면서도 테스트 정확도를 향상시키는 'ACP-SL' 방식을 제안합니다.
Information Theoretic Bayesian Optimization over the Probability Simplex
이 논문은 확률 심플렉스의 기하학적 구조를 반영하는 정보 기하학 기반의 새로운 베이지안 최적화 알고리즘인 -GaBO 를 제안하여, 기존 유클리드 공간 기반 방법들보다 다양한 실세계 응용 분야에서 우수한 성능을 입증합니다.
Good Reasoning Makes Good Demonstrations: Implicit Reasoning Quality Supervision via In-Context Reinforcement Learning
이 논문은 정답만 고려하는 기존 강화학습의 한계를 극복하기 위해, 모델의 컨텍스트 학습 능력을 활용해 추론의 질을 측정하는 '증거 이득 (Evidence Gain)'을 도입하고 이를 통해 고품질 추론 궤적에 가중치를 부여하는 '인-컨텍스트 RLVR'을 제안하여 수학 벤치마크에서 정확도와 추론 품질을 모두 향상시켰음을 보여줍니다.
Correction of Transformer-Based Models with Smoothing Pseudo-Projector
이 논문은 다중 격자 (MG) 패러다임에서 영감을 받아 기존 트랜스포머 모델의 핵심 구조를 변경하지 않고 노이즈 민감도를 줄이고 학습 안정성을 향상시키는 경량 '가상 프로젝터 (pseudo-projector)' 모듈을 제안하고, 텍스트 분류 및 합성 벤치마크를 통해 그 유효성을 입증했습니다.
A Unified Hierarchical Multi-Task Multi-Fidelity Framework for Data-Efficient Surrogate Modeling in Manufacturing
이 논문은 제조 시스템의 이질적 데이터 소스를 효과적으로 활용하기 위해 다중 태스크 학습과 다중 정밀도 모델링을 통합한 계층적 가우시안 프로세스 기반 대리 모델링 프레임워크를 제안하고, 기존 방법 대비 예측 정확도를 크게 향상시키는 것을 입증합니다.
A Graph-Based Approach to Spectrum Demand Prediction Using Hierarchical Attention Networks
이 논문은 지리 공간 데이터를 활용하여 복잡한 공간 수요 패턴과 공간 자기상관 문제를 해결하고 기존 모델 대비 21% 높은 예측 정확도를 달성한 계층적 해상도 그래프 어텐션 네트워크 (HR-GAT) 를 제안합니다.
GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection
이 논문은 기존 PEFT 방법들이 간과한 데이터와 레이어 간의 상호작용을 고려하여, 각 레이어별로 가장 영향력 있는 데이터 포인트를 적응적으로 선택하는 통합 최적화 전략인 GAST(Gradient-aligned Sparse Tuning) 를 제안하고 이를 통해 기존 베이스라인보다 우수한 성능을 입증했습니다.
CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning
이 논문은 희소한 에디 공변량 관측 데이터의 한계를 극복하고 다양한 기후 및 식생 유형을 가진 미관측 지역으로의 탄소 플럭스 일반화 성능을 체계적으로 평가하기 위해, 전 세계 567 개 사이트의 데이터를 기반으로 한 제로샷 공간 전이 학습용 벤치마크 'CarbonBench'를 최초로 제안합니다.
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
이 논문은 연속적인 LLM 파인튜닝 중 발생하는 catastrophic forgetting 을 완화하면서도 빠른 적응을 유지하기 위해, 샘플 수준의 기억 강도를 추정하고 적응형 간격으로 재연습을 스케줄링하는 메모리 인식 적응형 재연습 프레임워크인 MSSR 을 제안하고 다양한 벤치마크에서 기존 방법들을 능가하는 성능을 입증합니다.
OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
이 논문은 Lipschitz 상수나 경계 조건 없이도 노이즈가 없는 환경에서 거의 최적의 수렴 속도를 보장하는 새로운 적응형 지수 이동 평균 최적화 알고리즘인 OptEMA 를 제안하고 그 이론적 수렴성을 증명합니다.
Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective
본 논문은 생성적 드리프트 (Generative Drifting) 가 사실은 스코어 매칭 (Score Matching) 의 일종임을 규명하여, 드리프트 연산자의 이론적 기반을 확립하고 커널 선택, 수렴 속도, 그리고 스톱-그래디언트 연산자의 필수성을 설명하는 새로운 해석을 제시합니다.
SignalMC-MED: A Multimodal Benchmark for Evaluating Biosignal Foundation Models on Single-Lead ECG and PPG
이 논문은 10 분 길이의 동기화된 단일 리드 ECG 와 PPG 데이터를 기반으로 20 가지 임상 예측 태스크를 수행하는 'SignalMC-MED'라는 멀티모달 벤치마크를 제안하고, 도메인 특화 바이오신호 기초 모델이 일반 시계열 모델보다 우수하며 멀티모달 융합과 긴 신호 구간이 성능 향상에 기여함을 실증합니다.
When Learning Rates Go Wrong: Early Structural Signals in PPO Actor-Critic
이 논문은 PPO actor-critic 학습에서 학습률 선택의 실패를 조기에 감지하기 위해 은닉 뉴런의 활성화 패턴 균형을 측정하는 OUI (Overfitting-Underfitting Indicator) 지표를 제안하고, 이를 통해 학습 초기 단계에서 성공적인 학습률을 효과적으로 선별할 수 있음을 실증합니다.
Towards a Neural Debugger for Python
이 논문은 기존 신경 해석기의 한계를 극복하고 프론트 및 백워드 실행을Debugger 동작에 따라 모델링하는 '신경 디버거'를 제안하여, 향후 에이전트 기반 코딩 시스템 및 자동화된 디버깅의 기반을 마련했다고 요약할 수 있습니다. 더 간결하게 한 문장으로 정리하면 다음과 같습니다: **이 논문은 프론트 및 백워드 실행을 디버거 동작에 따라 모델링하는 '신경 디버거'를 제안하여 향후 에이전트 기반 코딩 시스템과 자동화된 디버깅의 기반을 마련했습니다.**
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
이 논문은 행렬 연산자 노름의 관점에서 신경망 옵티마이저의 폭 확장성을 분석하고, 층별 합성 가능한 평균 정규화 노름을 도입하여 폭에 무관한 학습률 전이를 가능하게 하는 새로운 옵티마이저 MOGA 를 제안하며, 대규모 사전 학습에서 Muon 과 경쟁력 있으면서도 더 빠른 성능을 입증합니다.
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
이 논문은 의미적, 인스턴스, 픽셀 수준의 세 가지 데이터 세분성을 명시적으로 학습하는 계층적 구조와 점진적 마스킹 커리큘럼을 통해 대비 학습과 마스킹 이미지 모델링 간의 긴장 관계를 해결하고 더 강력하고 일반화 가능한 시각 표현을 학습하는 C2FMAE 를 제안합니다.