XConv: Low-memory stochastic backpropagation for convolutional layers
이 논문은 기존 코드베이스에 추가 수정 없이 통합 가능하며, 아키텍처 제약을 두지 않으면서도 역전파 시 중간 활성화 메모리 사용을 2 배 이상 절감하고 확률적 경사 하강법과 유사한 수렴성을 보장하는 새로운 합성곱 레이어인 XConv 를 제안합니다.
🤖 Category
cs.LG
2109 편의 논문
A Survey on Decentralized Federated Learning
이 논문은 2018 년부터 2026 년 초까지의 탈중앙화 연방학습 (DFL) 연구들을 체계적으로 검토하고, 기존 중앙집중식 FL 의 한계를 극복하는 두 가지 아키텍처를 분류하며, 핵심 병목 현상에 기반한 통합 분류 체계를 제시하고 향후 연구 방향을 제안합니다.
Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
이 논문은 다차원 랜덤 부분합 문제의 최근 발전을 활용하여 구조적 가지치기 (structured pruning) 를 위한 강한 로또 티켓 가설을 수학적으로 증명하고, 무작위 초기화된 합성곱 신경망이 훈련 없이도 효율적인 구조적 서브네트워크를 포함함을 보여줍니다.
Provable Filter for Real-world Graph Clustering
이 논문은 실제 그래프의 동질성과 이질성을 동시에 고려하여 이론적으로 증명된 필터링 기법을 제안하고, 이를 통해 기존 최첨단 방법들보다 우수한 그래프 클러스터링 성능을 입증합니다.
Enhancing Computational Efficiency in Multiscale Systems Using Deep Learning of Coordinates and Flow Maps
이 논문은 좌표와 흐름 맵의 결합적 발견을 통해 딥러닝 기반의 정밀 시간 단계 접근법을 제시함으로써, 다양한 시공간 스케일을 가진 다중 스케일 시스템의 시뮬레이션 비용을 줄이면서도 최첨단 예측 정확도를 달성하는 프레임워크를 제안합니다.
Sparse Variational Student-t Processes for Heavy-tailed Modeling
이 논문은 대규모 데이터셋에서 이상치와 heavy-tail 분포를 효과적으로 모델링하기 위해 희소 유도점 방법을 Student-t 프로세스로 확장한 'Sparse Variational Student-t Processes(SVTP)' 프레임워크와 두 가지 새로운 추론 알고리즘을 제안하며, 이를 통해 기존 희소 가우시안 프로세스 대비 뛰어난 예측 정확도와 수렴 속도를 달성함을 보여줍니다.
HYGENE: A Diffusion-based Hypergraph Generation Method
이 논문은 기존에 존재하지 않았던 딥러닝 기반의 초그래프 생성 방법론인 HYGENE 를 제안하며, 확산 모델을 활용해 이분 그래프 표현을 기반으로 국소적 확장을 통해 복잡하고 다양한 초그래프 구조를 효과적으로 생성하는 것을 목표로 합니다.
Robust Training of Neural Networks at Arbitrary Precision and Sparsity
이 논문은 양자화와 희소화 연산에서 발생하는 불연속성 문제를 해결하기 위해 양자화를 첨가 노이즈로 모델링하고, 이를 보정하는 정교한 기울기 경로를 제공하는 통합 프레임워크를 제안하여 임의의 정밀도와 희소성 수준에서 안정적으로 신경망을 학습시키는 방법을 제시합니다.
ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
이 논문은 강화학습의 하이퍼파라미터 최적화 연구에 필요한 다양한 접근법 간의 비교와 저사양 환경에서의 평가를 가능하게 하기 위해 효율적이고 유연한 벤치마크인 'ARLBench'와 대규모 데이터셋을 제안합니다.
DRUPI: Dataset Reduction Using Privileged Information
이 논문은 기존 데이터 축소 기법에 특징 또는 주의 주석과 같은 '우월 정보(Privileged Information)'를 추가로 합성하여 모델 학습을 보조함으로써, ImageNet-1K 등 다양한 데이터셋에서 기존 방법들의 성능을 획기적으로 향상시킨 'DRUPI' 방법을 제안합니다.
Unsupervised Representation Learning from Sparse Transformation Analysis
이 논문은 잠재 변수의 변환을 희소 성분으로 분해하여 시퀀스 데이터에서 비지도 학습을 수행함으로써, 독립적인 요인과 변환 원리를 모두 포착하는 새로운 형태의 분리된 표현을 학습하고 데이터 가능성과 근사 공변성 오류 측면에서 최첨단 성능을 달성함을 보여줍니다.
Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions
이 논문은 제어 장벽 함수와 미분 가능 최적화를 기반으로 한 데이터 중심 접근법을 통해 다중 에이전트 상호작용에서 안전성을 보장하기 위해 에이전트가 얼마나 자신의 행동을 조정하는지 (책임 할당) 를 학습하고 해석 가능한 정량적 통찰을 제공하는 방법을 제시합니다.
Calabi-Yau metrics through Grassmannian learning and Donaldson's algorithm
이 논문은 머신러닝 기법과 도널드슨의 알고리즘을 결합하여 그라스만 다양체 상의 경사 하강법을 통해 칼라비 - 야우 계량을 효율적으로 근사하는 새로운 방법을 제안하고, 이를 더커 가족 3-다양체에 적용하여 모듈라이 공간에서의 수렴 거동과 비자명한 국소 최소값의 출현을 분석합니다.
Adaptive and Stratified Subsampling for High-Dimensional Robust Estimation
이 논문은 유한 분포를 가진 중꼬리 잡음, -오염, 그리고 -혼합 의존성 하에서 고차원 강건한 희소 회귀를 위해 적응형 중요도 샘플링 (AIS) 과 계층적 하위표본 추출 (SS) 두 가지 추정기를 제안하며, 이론적 최적성, 편향 보정, 그리고 실증적 성능 개선을 입증합니다.
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
이 논문은 어텐션 메커니즘 대신 표준 합성곱 메시지 패싱을 Pre-Layer Normalization 트랜스포머 블록에 통합하여, 계산 비용이 적게 드면서도 오버스무딩 문제를 해결하고 대규모 그래프에서 최첨단 성능을 내는 확장 가능한 메시지 패싱 신경망 (SMPNN) 을 제안하고 이론적으로 분석합니다.
SPDIM: Source-Free Unsupervised Conditional and Label Shift Adaptation in EEG
이 논문은 뇌파 (EEG) 데이터의 비정상성과 라벨 시프트 문제를 해결하기 위해 SPD 다양체 기반의 기하학적 딥러닝 프레임워크인 SPDIM 을 제안하고, 정보 최대화 원리를 활용하여 타겟 도메인별 단일 파라미터를 최적화함으로써 기존 방법보다 우수한 적응 성능을 입증했습니다.
Prognostics for Autonomous Deep-Space Habitat Health Management under Multiple Unknown Failure Modes
이 논문은 라벨이 없는 고장 데이터를 기반으로 잠재 고장 모드를 식별하고 정보성 센서를 선택하여 심우주 서식지의 잔여 수명을 예측하는 새로운 비지도 예지 프레임워크를 제안하고, 이를 시뮬레이션 및 NASA C-MAPSS 벤치마크를 통해 기존 방법보다 향상된 정확도로 검증했습니다.
Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning
이 논문은 로봇의 운동학적 구조와 형태적 대칭성을 통합하여 높은 일반화 능력과 샘플 효율성을 보장하는 'MS-HGNN'이라는 새로운 이종 그래프 신경망 아키텍처를 제안하고, 이를 다양한 4 족 보행 로봇 동역학 학습 문제에서 실증적으로 검증합니다.
CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph
이 논문은 모바일 로봇의 능동적 상호작용을 통한 환경 탐사 한계를 극복하기 위해 다양한 물체 관계를 인코딩한 3D 관계 객체 그래프를 제안하고, 이를 기반으로 한 시스템이 기존 비전 - 언어 모델 기반 방법보다 다양한 장면과 물체에서 뛰어난 일반화 성능을 보임을 입증합니다.
Molecular Fingerprints Are Strong Models for Peptide Function Prediction
이 논문은 복잡한 장기 의존성 모델링 없이도 단순한 분자 지문 (Molecular Fingerprints) 과 LightGBM 을 활용하여 펩타이드 기능 예측에서 그래프 신경망 및 트랜스포머 기반 모델보다 뛰어난 성능을 달성했음을 132 개 데이터셋을 통해 입증했습니다.