SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization
본 논문은 W4A4 및 W4A8 설정에서 기존 저랭크 적응 기반 방법들의 한계를 극복하고, 활성화 및 가중치 중요도를 고려한 단일 저랭크 보상 행렬을 활용한 SERQ 를 제안하여 정밀도 저하 없이 효율적인 LLM 양자화를 가능하게 합니다.
🤖 Category
cs.LG
11971 편의 논문
Sequential Service Region Design with Capacity-Constrained Investment and Spillover Effect
본 논문은 수요 불확실성과 지역 간 파급 효과를 고려한 순차적 서비스 지역 설계 문제를 해결하기 위해 실옵션 분석과 트랜스포머 기반 근접 정책 최적화 (TPPO) 알고리즘을 통합한 새로운 프레임워크를 제안하고, 이를 통해 기존 방법론보다 빠른 수렴 속도와 더 높은 투자 가치의 순서를 도출할 수 있음을 입증합니다.
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules
이 논문은 현재 TabPFN 과 같은 표본 기반 모델의 회귀 평가가 평균값 예측에 치중되어 있다는 한계를 지적하고, 확률적 회귀의 품질을 평가하기 위해 적절한 스코어링 규칙 (특히 CRPS) 을 도입하고 모델의 유도 편향을 고려한 파인튜닝 또는 프롬프트 기반 접근의 필요성을 주장합니다.
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
이 논문은 비동기 연동 학습에서 구배의 노후화 (staleness) 를 측정하기 위해 유클리드 거리를 포함한 다양한 거리 척도를 탐구하여, 이질적인 환경과 비-IID 데이터 설정 하에서 모델의 수렴 속도와 성능을 향상시키는 견고한 집계 방법을 제시합니다.
Wiener Chaos Expansion based Neural Operator for Singular Stochastic Partial Differential Equations
이 논문은 재규격화 인자 없이도 특이 확률 편미분방정식 (예: 및 모델) 의 해와 그 잔차 간의 의존성을 효과적으로 포착하기 위해 FiLM 을 활용한 새로운 Wiener Chaos Expansion 기반 신경 연산자 (WCE-FiLM-NO) 를 제안하고 그 우수성을 입증합니다.
The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs
이 논문은 LLM 의 내재적 계속성 추동과 정렬을 통해 학습된 안전 방어 메커니즘 간의 경쟁이 '계속성 유발' 지시어 이동에 따른 재프락킹 성공을 초래한다는 것을 어텐션 헤드 수준의 기계적 해석을 통해 규명하고, 이를 통해 모델 안전성 향상을 위한 새로운 통찰을 제공합니다.
Fibration Policy Optimization
이 논문은 토큰, 궤적, 도메인 등 다양한 수준의 안정성 제어를 통합하기 위해 신뢰 영역 이론과 대수적 구조를 결합한 새로운 정책 최적화 프레임워크인 'Fibration Policy Optimization (FiberPO)'을 제안합니다.
Optimising antibiotic switching via forecasting of patient physiology
이 논문은 과거 임상 결정이 아닌 환자 생리학적 지표의 확률적 예측을 통해 정맥 주사 항생제에서 경구제로 전환할 적절한 시기를 판단하고 환자를 우선순위화하는 해석 가능한 신경 프로세스 기반 의사결정 지원 시스템을 제안하여 항생제 관리 효율성을 증진시키는 방법을 제시합니다.
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
FedPrism 은 비동일 분포 (Non-IID) 데이터 환경에서 글로벌 모델의 일반화와 개인화된 적응 사이의 균형을 달성하기 위해, 클라이언트 모델을 글로벌 기반, 유사 클라이언트 공유 부분, 개인 전용 부분으로 분해하는 프리즘 분해와 일반 모델 및 로컬 전문가 간의 신뢰도 기반 라우팅을 결합한 이중 스트림 아키텍처를 제안합니다.
FlowTouch: View-Invariant Visuo-Tactile Prediction
이 논문은 카메라 시점과 센서 설정에 구애받지 않고 시각 정보를 기반으로 접촉 패턴을 예측하여 시뮬레이션과 현실 간의 격차를 해소하고 그립 안정성 예측에 활용 가능한 새로운 모델 'FlowTouch'를 제안합니다.
Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
이 논문은 ReinMax 추정기의 높은 분산을 Rao-Blackwellisation 및 제어 변수 기법을 통해 개선한 ReinMax-Rao 와 ReinMax-CV 추정기를 제안하고, 이를 통해 이산 잠재 변수를 가진 변이 오토인코더의 학습 성능을 향상시켰음을 보여줍니다.
Airborne Magnetic Anomaly Navigation with Neural-Network-Augmented Online Calibration
이 논문은 사전 보정 비행 없이 항공기 자기 간섭을 실시간으로 보상하여 위성 항법에 대한 견고한 대안을 제공하는, 물리 기반 보정 모델과 신경망을 결합한 적응형 공중 자기 이상 항법 (MagNav) 아키텍처를 제안합니다.
Towards a more efficient bias detection in financial language models
이 논문은 금융 언어 모델의 편향을 탐지하는 데 드는 막대한 계산 비용을 줄이기 위해, 여러 모델 간 편향 패턴의 유사성을 분석하고 한 모델의 결과를 활용해 다른 모델의 편향 유발 입력을 조기에 식리는 효율적인 방법을 제안합니다.
SCL-GNN: Towards Generalizable Graph Neural Networks via Spurious Correlation Learning
이 논문은 노드 특징과 레이블 간의 허위 상관관계를 힐베르트-슈미트 독립성 기준 (HSIC) 을 통해 식별하고 완화하는 메커니즘과 이중 수준 최적화 전략을 도입하여, 분포 변화 (OOD) 상황에서도 강건한 일반화 성능을 달성하는 새로운 그래프 신경망 프레임워크인 SCL-GNN 을 제안합니다.
TA-RNN-Medical-Hybrid: A Time-Aware and Interpretable Framework for Mortality Risk Prediction
이 논문은 불규칙한 시계열 구조와 복잡한 질병 경로를 가진 중환자실 전자의무기록을 기반으로 사망 위험을 정확하고 해석 가능하게 예측하기 위해, 명시적 연속 시간 인코딩과 SNOMED 기반 의학적 개념 표현을 통합한 'TA-RNN-Medical-Hybrid'라는 새로운 딥러닝 프레임워크를 제안하고 MIMIC-III 데이터셋에서 우수한 성능과 임상적 통찰력을 입증합니다.
PolyFormer: learning efficient reformulations for scalable optimization under complex physical constraints
이 논문은 물리적 및 기하학적 지식을 활용하여 복잡한 물리 법칙으로 제약된 최적화 문제를 효율적인 다면체 재형식으로 변환함으로써 계산 속도를 최대 6,400 배 향상시키고 메모리 사용량을 99.87% 줄이면서 고품질 해를 제공하는 'PolyFormer'를 제안합니다.
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
이 논문은 비구속 상태 공간에서 가우시안 프로세스 사후 샘플링 강화 학습 (GP-PSRL) 알고리즘의 베이지안 후회 상한을 유도하여, 최대 정보 획득량에 대한 최적의 의존성과 비구속 상태 공간의 문제를 해결하고 기존 이론적 한계를 극복했습니다.
Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
이 논문은 선형 분리 가능한 이진 분류에서 심층 선형 대각 네트워크를 학습할 때, SAM(Sharpness-Aware Minimization) 이 깊이 이상에서 초기화에 민감하게 반응하거나 '순차적 특징 증폭' 현상을 보이는 등 경사 하강법 (GD) 과는 근본적으로 다른 암시적 편향을 가짐을 이론적으로 증명하고 실험적으로 검증합니다.
Graph-Instructed Neural Networks for parametric problems with varying boundary conditions
이 논문은 다양한 경계 조건을 가진 매개변수 편미분방정식 (PDE) 의 효율적이고 정확한 시뮬레이션을 위해, 기존 축소 차원 기법의 한계를 극복하고 복잡한 PDE 를 강력하게 표현할 수 있는 그래프 지시 신경망 (GINN) 프레임워크를 제안합니다.
Concept-Guided Fine-Tuning: Steering ViTs away from Spurious Correlations to Improve Robustness
이 논문은 LLM 과 VLM 을 활용해 자동 생성된 개념 기반 마스크를 사용하여 비전 트랜스포머 (ViT) 의 내부 관련성 지도를 정렬함으로써, 배경과 같은 허위 상관관계에 의존하는 문제를 해결하고 분포 변화에 대한 강건성을 향상시키는 새로운 파인튜닝 프레임워크를 제안합니다.