On-Average Stability of Multipass Preconditioned SGD and Effective Dimension
이 논문은 데이터 재사용으로 인한 상관관계를 고려한 새로운 평균 안정성 분석 기법을 개발하여, 다중 패스 전처리 SGD 의 일반화 성능을 유효 차원과 연결하고 부적절한 전처리 행렬이 최적화 및 일반화 모두에서 비최적의 성능을 초래할 수 있음을 증명합니다.
📊 Category
stat.ML
333 편의 논문
BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
이 논문은 NLI 기반 크로스-인코더, 임베딩 모델, 리랭커, 그리고 지시 튜닝 LLM 등 다양한 아키텍처의 제로샷 텍스트 분류 능력을 공정하게 평가하기 위해 22 개의 데이터셋으로 구성된 벤치마크 'BTZSC'를 제안하고, 현대 리랭커가 새로운 최첨단 성능을 달성했으며 임베딩 모델이 정확도와 지연 시간 간 최적의 균형을 보인다는 결과를 제시합니다.
Chemical Reaction Networks Learn Better than Spiking Neural Networks
이 논문은 은닉층이 없는 화학 반응 네트워크가 은닉층이 필요한 스파이킹 신경망보다 분류 작업을 더 정확하게 효율적으로 학습할 수 있음을 수학적으로 증명하고 실험을 통해 검증함으로써, 화학적 컴퓨터의 기계 학습 가능성과 생물학적 세포의 학습 효율성을 설명합니다.
Wasserstein Gradient Flows for Batch Bayesian Optimal Experimental Design
이 논문은 배치 베이지안 최적 실험 설계 (BOED) 문제를 확률 측도 공간으로 확률론적으로 승격시키고 엔트로피 정규화를 도입하여, Wasserstein 기울기 흐름과 입자 기반 알고리즘을 통해 고차원 비볼록 최적화 문제를 해결하는 새로운 접근법을 제안합니다.
A Quantitative Characterization of Forgetting in Post-Training
이 논문은 포스트 트레이닝 중 발생하는 망각을 '질량 소실'과 '구성 요소 이동'으로 정의하고, KL 발산 방향, 기하학적 행동 중복도, 샘플링 전략 및 과거 데이터 가시성 간의 상호작용을 통해 망각을 정량화하는 이론적 틀을 제시합니다.
Riemannian Laplace Approximation with the Fisher Metric
이 논문은 기존 리만 라플라스 근사법의 한계를 지적하고 피셔 계량을 기반으로 데이터가 무한히 많아질 때 정확한 근사가 가능하도록 두 가지 대안 변형을 개발하여 이론적 분석을 확장하고 실험적 개선을 입증합니다.
Logarithmic Regret for Online KL-Regularized Reinforcement Learning
이 논문은 KL 정규화가 유도하는 최적화 환경과 낙관적 보상 추정을 활용하여 온라인 KL 정규화 강화학습에 대해 기존 연구의 한계를 극복하는 로그(regret) 오차 상한을 달성하는 새로운 알고리즘과 이론적 분석을 제시합니다.
Geopolitics, Geoeconomics, and Sovereign Risk: Different Shocks, Different Channels
이 논문은 지정학적 충격이 국가부도 리스크를 직접적으로 재평가하는 반면, 지경제학적 충격은 통화정책과 글로벌 금융 사이클을 통해 전파된다는 '가위 패턴'을 2018~2025 년 42 개국의 데이터를 통해 실증적으로 규명하고, 이에 따라 유동성 공급이 금융 사이클 매개 스프레드 확대에는 대응할 수 있으나 지정학적 리스크 프리미엄의 지속적 요소에는 한계가 있음을 시사합니다.
A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization
이 논문은 온라인 수학 튜터링 플랫폼 데이터를 활용하여 학습자의 과거 수행과 특성을 기반으로 컨텍스트 톰슨 샘플링을 적용한 밴딧 기반 추천 시스템을 제안함으로써, 대규모 학습자에게 개인화된 연습 문제를 제공하여 기술 향상도를 극대화하는 방법을 제시합니다.
SSRCA: a novel machine learning pipeline to perform sensitivity analysis for agent-based models
이 논문은 에이전트 기반 모델의 민감도 분석을 용이하게 하기 위해 고안된 머신러닝 기반의 SSRCA 파이프라인을 소개하며, 이를 통해 민감한 매개변수를 식별하고 출력 패턴을 규명하는 동시에 기존 소볼 방법보다 더 견고한 결과를 제공함을 보여줍니다.
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
이 논문은 선형 예측자와 BART 모델 간의 공유 공변량으로 인한 편향과 비식별성 문제를 해결하기 위해 BART의 트리 생성 과정을 수정하여, 공변량이 중복되더라도 복잡한 상호작용을 모델링할 수 있는 새로운 준모수적 베이지안 가법 회귀 트리 (BART) 방법을 제안합니다.
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
이 논문은 리만 다양체 상의 제약 조건을 가진 블록 좌표 최적화 문제를 해결하기 위한 블록 대변화 - 최소화 (BMM) 알고리즘의 점근적 수렴성과 반복 횟수 내의 -정상점 도달 복잡도를 증명하고, 다양한 리만 제약 알고리즘에 적용 가능함을 이론적으로 분석하며 실험적으로 검증했습니다.
Zeroth-Order primal-dual Alternating Projection Gradient Algorithms for Nonconvex Minimax Problems with Coupled linear Constraints
이 논문은 결합된 선형 제약 조건이 있는 비볼록-강한 오목 및 비볼록-오목 미니맥스 문제를 해결하기 위해 두 가지 제로차 순환 알고리즘 (ZO-PDAPG 및 ZO-RMPDPG) 을 제안하고, 결정론적 및 확률적 환경에서의 반복 복잡도 보장을 통해 기존 제로차 알고리즘보다 우수한 성능을 입증합니다.
Towards a Fairer Non-negative Matrix Factorization
이 논문은 비음수 행렬 분해 (NMF) 의 목적 함수를 최소 - 최대 (min-max) 형식으로 수정하여 그룹 간 공정성을 개선할 수 있는 두 가지 최적화 알고리즘을 제안하고, 공정성 향상과 개별 오차 증가 사이의 트레이드오프 및 응용 분야에 따른 방법 선택의 중요성을 실증적으로 논의합니다.
An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems
이 논문은 신용평가 맥락에서 기존의 전통적 분류 모델보다 예측 정확도와 공정성 간의 균형을 더 잘 달성하는 공정성 인식 머신러닝 모델의 성능을 다양한 데이터셋과 측정 지표를 통해 종합적으로 실험 평가한 연구입니다.
Curse of Dimensionality in Neural Network Optimization
본 논문은 2-워asserstein 그래디언트 흐름을 통해 신경망 최적화 역학을 분석함으로써, 매끄러운 타겟 함수를 근사하는 과정에서 매개변수 분포의 진화를 연구하고 차원의 저주가 활성화 함수의 리프시츠 연속성과 함수의 매끄러움 정도에 따라 어떻게 최적화 계산 속도에 영향을 미치는지 이론적으로 규명했습니다.
Generalization Bounds for Markov Algorithms through Entropy Flow Computations
이 논문은 시간-동질 마르코프 과정을 따르는 모든 학습 알고리즘에 대해 새로운 엔트로피 흐름 공식을 도입하고 이를 수정된 로그 소볼레프 부등식과 연결하여 일반화 오차에 대한 새로운 이론적 경계를 제시합니다.
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
이 논문은 클리핑, 헤비볼 모멘텀, 오차 피드백을 결합한 새로운 알고리즘인 Clip21-SGD2M 을 제안하여, 데이터 이질성이 심한 비볼록 분산 최적화 문제에서도 최적의 수렴 속도와 강력한 차분 프라이버시 보장을 동시에 달성함을 증명합니다.
Variational Formulation of Particle Flow
이 논문은 변분 추론의 관점에서 로그-호모토피 입자 흐름을 재해석하여, 피셔-라오 그래디언트 흐름을 기반으로 가우시안 및 가우시안 혼합물 근사 입자 흐름을 유도하고 선형 가우시안 가정 하에서 기존 다움-황 입자 흐름과 일치함을 보이며 다양한 차원의 추정 문제에 대한 유효성을 입증합니다.
Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference
이 논문은 Simpson 의 역설이나 선택 편향과 같은 통계적 함정을 식별하고 해결하는 능력을 평가하기 위해 'CausalPitfalls'라는 새로운 벤치마크를 제안하고, 이를 통해 현재 대규모 언어 모델 (LLM) 이 인과 추론에서 심각한 한계를 보임을 입증합니다.