Towards Reliable Simulation-based Inference
이 논문은 시뮬레이션 기반 추론에서 기계 학습 모델의 과신 (overconfidence) 문제를 진단하고, '밸런싱' 정규화 기법과 시뮬레이션에 특화된 베이지안 신경망을 도입하여 이를 완화하고 신뢰할 수 있는 통계적 추론을 가능하게 하는 방법을 제시합니다.
📊 Category
stat.ML
318 편의 논문
Estimation of heterogeneous principal effects under principal ignorability
이 논문은 주체 무관성 (principal ignorability) 가정 하에서 이질적 주체 인과 효과를 추정하고 신뢰구간을 구성하기 위한 프레임워크를 제안하며, 이중 강건성 및 중간 강건성을 가진 여러 추정량의 특성을 분석하고 캠든 연합 핫스팟팅 무작위 실험 데이터를 통해 이를 실증합니다.
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
이 논문은 불확실한 교란 분포를 가진 마르코프 결정 과정 (MDP) 에 대해 경험적 분포 기반의 모호성 집합을 정의하고, 약수렴과 거리 함수 수렴을 연결하여 유한 표본에서의 높은 확률 성능 보장, 수렴 속도, 및 표본 복잡도 한계를 증명하는 데이터 기반 강건 MDP 프레임워크를 제시합니다.
Statistical Inference via Generative Models: Flow Matching and Causal Inference
이 논문은 생성 모델을 통계적 추론의 관점에서 재해석하여 유동 매칭 (Flow Matching) 을 기반으로 결측치 대체, 반사실 분석, 생존 분석 등 구조화된 고차원 문제에서 추론의 유효성을 보장하는 새로운 통계적 프레임워크를 제시합니다.
Verifying Good Regulator Conditions for Hypergraph Observers: Natural Gradient Learning from Causal Invariance via Established Theorems
이 논문은 Wolfram 의 초그래프 물리학과 Vanchurin 의 신경망 우주론을 기반으로, 인과 불변 초그래프 기반의 지속적 관찰자가 Conant-Ashby 좋은 조절자 정리를 만족하고 자연 기울기 하강법이 유일한 학습 규칙임을 증명하며, 이를 통해 다양한 수렴 모델에 따라 관찰자가 피셔 계량 텐서의 고유 방향을 따라 서로 다른 Vanchurin 체제에 동시에 존재할 수 있음을 규명합니다.
Better Bounds for the Distributed Experts Problem
이 논문은 명의 전문가가 개의 서버에 분산된 환경에서 손실 함수를 고려할 때, 이전 연구보다 향상된 통신 비용으로 regret 을 최소화하는 새로운 프로토콜을 제안합니다.
A Generative Sampler for distributions with possible discrete parameter based on Reversibility
이 논문은 이산 또는 혼합 변수를 가진 복잡한 분포에서 목표 함수의 기울기 없이도 물리적 전이 커널과 시간 가역성 제약을 활용하여 forward 및 backward 마르코프 궤적 간의 최대 평균 불일치 (MMD) 를 최소화하는 새로운 생성적 샘플링 프레임워크를 제안하고, 이를 다양한 벤치마크에서 검증했습니다.
Transductive Generalization via Optimal Transport and Its Application to Graph Node Classification
이 논문은 그래프 노드 분류에서 기존 복잡도 측정법의 한계를 극복하고, 최적 수송을 기반으로 한 계산 효율적이고 경험적 일반화 성능과 높은 상관관계를 보이는 새로운 전도적 일반화 경계를 제시하며, GNN의 집계 과정이 표현 분포를 어떻게 변형시키는지 분석하여 깊이와 일반화 오차 간의 비단조적 관계를 설명합니다.
On Regret Bounds of Thompson Sampling for Bayesian Optimization
이 논문은 가우시안 프로세스 토머스 샘플링 (GP-TS) 에 대해 기존에 명확하지 않았던 고확률 및 기대 후회 한계를 분석하고, 하한, 이차 모멘트 상한, 완화된 후회 상한, 그리고 시간 지평에 대한 개선된 누적 후회 상한을 포함한 다양한 후회 한계를 제시합니다.
A Gaussian Comparison Theorem for Training Dynamics in Machine Learning
이 논문은 가우스 혼합 모델 데이터를 사용하는 머신러닝 훈련 알고리즘의 동역학을 고든 비교 정리를 기반으로 한 가우스 비교 정리를 통해 분석하여, 점근적 영역에서의 동적 평균장 이론의 유효성을 엄밀하게 증명하고 비점근적 영역에서의 더 정확한 표현을 위한 반복적 정제 기법을 제안합니다.
Robust Regularized Policy Iteration under Transition Uncertainty
이 논문은 오프라인 강화학습의 전이 불확실성과 정책 유도 외삽 문제를 통합적으로 해결하기 위해, KL 정규화 기반의 실용적인 대안 목적 함수와 수렴 보장이 있는 로버스트 정규화 정책 반복 (RRPI) 알고리즘을 제안하고 D4RL 벤치마크에서 우수한 성능을 입증합니다.
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
이 논문은 베이지안 추론을 MoE 라우팅 단계에만 국한하여 계산 비용을 거의 증가시키지 않으면서도 대규모 베이스 모델의 불확실성 정량화와 안정성을 획기적으로 개선하는 '변분 혼합 전문가 라우팅 (VMoER)' 프레임워크를 제안합니다.
What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects
이 논문은 비준수 (noncompliance) 가 있는 밴딧 문제에서 추천과 실제 치료 간 불일치를 해결하기 위해 BRACE 알고리즘을 제안하며, 이는 다양한 학습 목표 (추천 복지 대 치료 학습) 를 동시에 고려하고 약한 식별성 하에서도 안전하고 유효한 불확실성 추정을 가능하게 합니다.
a-TMFG: Scalable Triangulated Maximally Filtered Graphs via Approximate Nearest Neighbors
이 논문은 대규모 데이터셋에서 기존 TMFG 의 메모리 및 실행 시간 제약을 해결하기 위해 k-NN 그래프와 온-더-플라이 상관관계 추정을 활용한 확장 가능한 근사 삼각 최대 필터링 그래프 (a-TMFG) 알고리즘을 제안합니다.
MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation
이 논문은 과분산 및 복잡한 평균 - 분산 관계를 가진 데이터를 위해 트위디와 음이항 분포를 기반으로 한 전통적 및 볼록 NMF 를 위한 통합 MM 알고리즘 프레임워크를 개발하고, R 패키지 `nmfgenr` 을 통해 구현하여 다양한 실증 데이터를 통해 그 유효성을 입증합니다.
Murmurations: a case study in AI-assisted mathematics
이 논문은 머신러닝 해석 기법을 통해 발견된 새로운 산술 현상인 ' murmurations (속삭임)'을 소개하고, 이를 Birch 와 Swinnerton-Dyer 추측 및 무작위 행렬 이론과 같은 수론의 핵심 주제와 연결하여 분석합니다.
Upper Generalization Bounds for Neural Oscillators
본 논문은 2 차 상미분방정식과 다층 퍼셉트론 (MLP) 으로 구성된 신경 진동자의 PAC 일반화 상한을 유도하여 MLP 의 크기와 시간 길이에 따른 오차 증가가 다항식적으로 제한되며, MLP 의 리프시츠 상수를 규제함으로써 일반화 성능을 향상시킬 수 있음을 이론적으로 증명하고 수치 실험을 통해 검증했습니다.
A Unified Hierarchical Multi-Task Multi-Fidelity Framework for Data-Efficient Surrogate Modeling in Manufacturing
이 논문은 제조 시스템의 이질적 데이터 소스를 효과적으로 활용하기 위해 다중 태스크 학습과 다중 정밀도 모델링을 통합한 계층적 가우시안 프로세스 기반 대리 모델링 프레임워크를 제안하고, 기존 방법 대비 예측 정확도를 크게 향상시키는 것을 입증합니다.
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
이 논문은 행렬 연산자 노름의 관점에서 신경망 옵티마이저의 폭 확장성을 분석하고, 층별 합성 가능한 평균 정규화 노름을 도입하여 폭에 무관한 학습률 전이를 가능하게 하는 새로운 옵티마이저 MOGA 를 제안하며, 대규모 사전 학습에서 Muon 과 경쟁력 있으면서도 더 빠른 성능을 입증합니다.
Online Neural Networks for Change-Point Detection
이 논문은 선형 계산 복잡도를 가지며 대규모 시계열 데이터의 변화점 탐지에 기존 방법보다 우수한 성능과 수렴성을 보이는 두 가지 온라인 신경망 기반 접근법을 제안하고 검증합니다.