Estimating condition number with Graph Neural Networks
이 논문은 그래프 신경망 (GNN) 을 활용하여 희소 행렬의 조건수를 기존 Hager-Higham 및 Lanczos 방법보다 훨씬 빠르게 추정하는 새로운 기법을 제안합니다.
🤖 Category
cs.LG
2316 편의 논문
Robust Post-Training for Generative Recommenders: Why Exponential Reward-Weighted SFT Outperforms RLHF
이 논문은 노이즈가 있는 사용자 피드백 환경에서 보상 해킹과 오프라인 제약 문제를 해결하며, RLHF 보다 강력하고 해석 가능한 단일 하이퍼파라미터로 추천 시스템의 성능을 극대화하는 지수 보상 가중 SFT 방법론의 이론적 근거와 실증적 우수성을 제시합니다.
Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework
이 논문은 ADMM 알고리즘과 스코어 기반 생성 모델을 통합할 때 발생하는 매니폴드 불일치와 수렴성 문제를 해결하기 위해 AC-DC(자동 및 방향 보정) 제거기를 도입한 새로운 ADMM-PnP 프레임워크를 제안하고, 이를 통해 다양한 역문제에서 우수한 성능과 이론적 수렴 보장을 입증합니다.
GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need
이 논문은 두 데이터셋 간의 선형 관계를 일반화 특이값 분해 (GSVD) 를 통해 분석하여, 각 샘플이 두 데이터셋 중 어느 쪽에 더 잘 설명되는지를 정량화하는 해석 가능한 '각도 점수'를 제안하고 이를 MNIST 데이터셋에서 검증합니다.
Copula-ResLogit: A Deep-Copula Framework for Unobserved Confounding Effects
이 논문은 잔류 신경망 (ResNet) 과 코퓰라 모델을 결합한 'Copula-ResLogit'이라는 새로운 딥러닝 프레임워크를 제안하여, 교통 수요 분석에서 관측되지 않은 교란 요인으로 인한 비인과적 종속성을 탐지하고 완화하는 방법을 제시합니다.
MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis
이 논문은 LLM-as-a-Judge 평가에서 발생하는 계산 비용과 편향을 해결하고 점수 구조를 분석하기 위해 질문, 답변자, 평가자의 조합으로 구성된 점수 텐서에 대해 군집 멤버십과 대표 객체 (medoids) 를 동시에 추정하는 새로운 텐서 군집화 방법인 MultiwayPAM 을 제안합니다.
Quantum entanglement provides a competitive advantage in adversarial games
이 논문은 경쟁적 강화학습 환경에서 양자 얽힘을 활용하는 양자 - 고전 하이브리드 에이전트가 분리 가능한 회로나 기존 고전 신경망보다 우수한 성능을 보이며, 얽힘이 경쟁적 상호작용을 모델링하는 데 필수적인 표현 학습 자원임을 입증했습니다.
Hybrid Self-evolving Structured Memory for GUI Agents
이 논문은 인간 기억의 구조와 진화 특성을 모방하여 이산적 심볼 노드와 연속적 임베딩을 결합한 그래프 기반 하이브리드 자기 진화 구조 메모리 (HyMEM) 를 제안함으로써, 오픈 소스 GUI 에이전트가 폐쇄형 최첨단 모델을 능가하는 성능을 달성하도록 돕습니다.
GaLoRA: Parameter-Efficient Graph-Aware LLMs for Node Classification
본 논문은 텍스트 속성 그래프 (TAG) 에서 노드 분류 성능을 극대화하면서도 전체 LLM 파인튜닝 대비 0.24% 의 파라미터만으로 구조적 정보를 통합하는 GaLoRA 라는 파라미터 효율적 프레임워크를 제안합니다.
Regime-aware financial volatility forecasting via in-context learning
이 논문은 파라미터 미세조정 없이 사전 훈련된 대규모 언어 모델 (LLM) 을 활용하여 시장 레짐에 따라 컨텍스트를 학습하고 조정함으로써 비정상적인 시장 조건 하에서 기존 방법보다 우수한 금융 변동성 예측 성능을 달성하는 레짐 인식 인-컨텍스트 학습 프레임워크를 제안합니다.
What do near-optimal learning rate schedules look like?
이 논문은 학습률 스케줄의 최적 형태를 찾기 위한 탐색 절차를 제안하여, 웜업과 감쇠가 필수적이며 기존에 널리 쓰이는 스케줄들은 최적이지 않으며 가중치 감소가 최적 형태에 큰 영향을 미친다는 것을 다양한 작업에서 입증했습니다.
How to make the most of your masked language model for protein engineering
이 논문은 가변 언어 모델 (MLM) 을 활용한 단백질 공학을 위해 확률적 빔 서치를 제안하고, 항체 치료제 개발을 위한 대규모 실험을 통해 샘플링 방법의 선택이 모델 선택만큼이나 중요함을 입증했습니다.
Data-Driven Integration Kernels for Interpretable Nonlocal Operator Learning
이 논문은 비국소적 정보의 집계와 국소적 비선형 예측을 명시적으로 분리하여 학습 가능한 통합 커널을 도입함으로써, 기후 과정의 비국소적 특성을 해석 가능하게 학습하면서도 과적합을 줄이고 매개변수 효율성을 높이는 프레임워크를 제안합니다.
NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction
이 논문은 환경 소음에 강건하면서도 저음량 발화까지 포착할 수 있도록 안경의 코받침에 마이크와 진동 센서를 융합한 'NasoVoce'라는 새로운 음성 인터페이스를 제안하고, 이를 통해 항상 가능한 조용하고 은밀한 AI 음성 대화의 실현 가능성을 입증했습니다.
Federated Active Learning Under Extreme Non-IID and Global Class Imbalance
이 논문은 심한 비균등 분포와 글로벌 클래스 불균형 하에서 페더레이티드 액티브 러닝의 성능 저하 문제를 해결하기 위해, 글로벌 및 로컬 모델 간 적응적 선택과 클래스 인식 샘플링 전략을 통합한 'FairFAL' 프레임워크를 제안하고 그 우수성을 입증합니다.
On The Complexity of Best-Arm Identification in Non-Stationary Linear Bandits
이 논문은 비정상적 선형 밴드트 환경에서 고정 예산 하의 최적 암 식별 (BAI) 문제를 연구하여, 기존 G-최적 설계의 과도하게 보수적인 복잡도 한계를 극복하는 암 집합 의존적 하한을 수립하고, 이를 기반으로 한 'Adjacent-BAI' 알고리즘이 이 하한과 일치하는 최적의 성능을 보임을 증명합니다.
HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation
이 논문은 교사의 실패로 인한 '교사 한계'를 극복하고 학생 모델의 추론 능력을 향상시키기 위해, 엔트로피 기반의 힌트 주입, 퍼플렉시티-불확실성 비율 필터링, 그리고 점진적 커리큘럼 진화를 통합한 RL-free 프레임워크인 HEAL을 제안합니다.
Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
이 논문은 희소 오토인코더와 미분 가능한 구조 학습을 결합하여 언어 모델의 잠재 공간에 인과적 개념 그래프 (CCG) 를 구축하고, 이를 통해 다단계 추론 과정에서 개념 간 인과 관계를 해석 가능하게 포착하며 개입 효과를 검증하는 새로운 프레임워크를 제안합니다.
Optimal Expert-Attention Allocation in Mixture-of-Experts: A Scalable Law for Dynamic Model Design
이 논문은 GPT 스타일의 믹스처 오브 전문가 (MoE) 모델에서 총 연산량과 희소도에 따라 전문가 레이어와 어텐션 레이어 간의 최적 연산 배분 비율을 결정하는 새로운 스케일링 법칙을 제안하여, 고정된 연산 예산 내에서 MoE 모델의 효율적인 설계와 성능 최적화를 위한 실용적인 지침을 제공합니다.
Variance-Aware Adaptive Weighting for Diffusion Model Training
이 논문은 확산 모델의 다양한 노이즈 수준에서 발생하는 손실 불균형을 해결하기 위해 손실 분산에 기반한 적응형 가중치 전략을 제안하고, 이를 통해 CIFAR 데이터셋에서 생성 성능을 향상시키고 학습 안정성을 높였음을 보여줍니다.