RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models
이 논문은 다중 LLM 시스템에서 오분류 위험을 통제하면서도 비용과 성능의 균형을 최적화하기 위해, 단일 모델 선택을 넘어 신뢰할 수 있는 모델 집합을 동적으로 구성하는 새로운 라우팅 방법인 RACER 를 제안하고 그 이론적 보장 및 성능 개선을 입증합니다.
🤖 Category
cs.AI
9729 편의 논문
Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
이 논문은 autoregressive 와 확산 (diffusion) 생성 방식을 통합한 'Evo'라는 새로운 대규모 언어 모델을 제안하며, 토큰의 의미적 성숙도에 따라 두 방식을 동적으로 균형 있게 조정하여 추론 속도와 생성 품질을 동시에 극대화한다는 점을 강조합니다.
Distilling and Adapting: A Topology-Aware Framework for Zero-Shot Interaction Prediction in Multiplex Biological Networks
이 논문은 맥락 인식 표현 학습과 지식 증류, 토폴로지 인식 그래프 토크나이저를 활용하여 기존 방법의 한계를 극복하고 다중 생물학적 네트워크에서 미지의 개체에 대한 제로샷 상호작용 예측 성능을 획기적으로 개선하는 새로운 프레임워크를 제안합니다.
Not all tokens are needed(NAT): token efficient reinforcement learning
이 논문은 강화 학습 (RL) 의 계산 비용과 메모리 부담을 줄이기 위해 생성된 토큰의 일부만 선택하여 학습하는 'NAT'프레임워크를 제안하며, 이를 통해 전체 토큰을 사용하는 것과 동등한 성능을 유지하면서 GPU 메모리 및 학습 시간을 크게 절감할 수 있음을 입증합니다.
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
이 논문은 기술 문서의 계층적 구조를 활용한 계층적 검색과 자동 생성 테스트 케이스를 통한 자기 디버깅 에이전트를 도입하여 복잡한 그래프 추론 작업의 정확도를 높이고 추론 비용을 줄이는 'GraphSkill' 프레임워크와 새로운 평가 데이터셋을 제안합니다.
From ARIMA to Attention: Power Load Forecasting Using Temporal Deep Learning
이 논문은 PJM 전력 소비 데이터를 활용하여 ARIMA, LSTM, BiLSTM, Transformer 모델을 비교 평가한 결과, 자기 주의 메커니즘을 기반으로 한 Transformer 모델이 3.8% 의 MAPE 로 가장 높은 정확도와 강건성을 보여 전력 부하 예측에 있어 딥러닝 기반 어텐션 아키텍처의 우수성을 입증했습니다.
Exploration Space Theory: Formal Foundations for Prerequisite-Aware Location-Based Recommendation
이 논문은 지식 공간 이론을 위치 기반 추천에 적용하여 방문 순서의 전제 조건을 격자 이론으로 형식화하고, 이를 바탕으로 구조적 유효성 보장을 제공하는 '탐색 공간 추천 시스템 (ESRS)'을 제안합니다.
Pavement Missing Condition Data Imputation through Collective Learning-Based Graph Neural Networks
이 논문은 센서 오류 등으로 인해 불완전한 도로 포장 상태 데이터를 해결하기 위해, 인접 구간 특성과 관측된 구간 간 의존성을 모두 학습하는 집단 학습 기반 그래프 합성곱 신경망 (GCN) 모델을 제안하고 텍사스 주 교통부 데이터를 통해 그 유효성을 입증했습니다.
Grouter: Decoupling Routing from Representation for Accelerated MoE Training
이 논문은 사전 학습된 MoE 모델에서 고품질 구조를 추출하여 고정된 라우팅을 적용함으로써 구조 최적화와 가중치 업데이트를 분리하는 'Grouter'를 제안하여 MoE 학습의 수렴 속도와 효율성을 획기적으로 개선합니다.
Photons = Tokens: The Physics of AI and the Economics of Knowledge
이 논문은 맥케이의 방법론을 차용해 토큰을 물리적·열역학적 비용이 있는 단위로 정의하고, AI 연산의 에너지 한계와 정보 이론적 제약을 정량적으로 분석하여 '질문의 수'가 아닌 '질문의 방향성'이 AI 시대의 결정적 변수임을 주장합니다.
SmartBench: Evaluating LLMs in Smart Homes with Anomalous Device States and Behavioral Contexts
이 논문은 스마트 홈 환경의 비정상적인 상태와 행동 맥락을 감지하는 대형 언어 모델 (LLM) 의 능력을 평가하기 위해 고안된 최초의 벤치마크 'SmartBench'를 소개하고, 기존 최첨단 모델들이 이러한 비정상 상태 감지에서 여전히 미흡한 성능을 보임을 실험을 통해 입증했습니다.
HEARTS: Benchmarking LLM Reasoning on Health Time Series
이 논문은 다양한 건강 시계열 데이터와 110 가지의 과제를 포함하는 통합 벤치마크 'HEARTS'를 제안하여, 현재 대규모 언어 모델 (LLM) 이 전문 모델에 비해 건강 시계열 추론에서 심각한 한계를 보이며 단순한 휴리스틱에 의존하고 시간적 복잡도가 증가할수록 성능이 저하된다는 사실을 규명했습니다.
RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics
이 논문은 오차 역전파 없이 고차원 리저브 동역학과 국소 헤비안 프로토타입 읽기출을 결합하여, 손상된 훈련 데이터 없이도 MNIST-C 와 같은 다양한 왜곡에 대해 강인한 이미지 분류를 가능하게 하는 RECAP 알고리즘을 제안합니다.
SR-TTT: Surprisal-Aware Residual Test-Time Training
이 논문은 TTT(Test-Time Training) 모델의 긴 문맥 기억 한계를 해결하기 위해, 예측하기 어려운 토큰만 전통적인 어텐션 캐시에 저장하고 나머지는 압축된 상태에 유지하는 'SR-TTT'라는 새로운 아키텍처를 제안합니다.
Trust Aware Federated Learning for Secure Bone Healing Stage Interpretation in e-Health
이 논문은 분산 의료 센싱 환경에서 신뢰할 수 없거나 적대적인 참여자의 영향을 완화하고 모델 무결성을 보장하기 위해 적응형 신뢰 점수 관리 메커니즘을 통합한 신뢰 인식 연동 학습 프레임워크를 제안하여 골절 치유 단계 해석의 안정성과 예측 성능을 향상시키는 방법을 제시합니다.
Performance Comparison of IBN orchestration using LLM and SLMs
본 논문은 5G 및 6G 네트워크의 의도 기반 네트워크 (IBN) 오케스트레이션을 위해 LLM 과 SLM 을 활용한 계층적 멀티 에이전트 프레임워크를 제안하고, 두 모델의 번역 정확도는 유사하지만 SLM 이 IBN 수명 주기 완료 속도를 20% 향상시킨다는 것을 실험을 통해 입증했습니다.
ObjChangeVR: Object State Change Reasoning from Continuous Egocentric Views in VR Environments
이 논문은 사용자가 직접 상호작용하지 않는 배경에서 발생하는 물체 상태 변화를 탐지하기 위해 새로운 벤치마크 'ObjChangeVR-Dataset'과 시점 인식 및 시간 기반 검색을 결합한 'ObjChangeVR' 프레임워크를 제안합니다.
HURRI-GAN: A Novel Approach for Hurricane Bias-Correction Beyond Gauge Stations using Generative Adversarial Networks
이 논문은 물리 기반 해일 모델 (ADCIRC) 의 계산 시간 단축과 정확도 향상을 위해 시간 계열 생성적 적대 신경망 (TimeGAN) 을 활용한 새로운 AI 기반 태풍 편차 보정 방법론인 HURRI-GAN 을 제안하며, 관측소 위치를 넘어선 공간적 외삽을 통해 모델 오차를 효과적으로 보정하고 예측 성능을 입증했습니다.
Geodesic Gradient Descent: A Generic and Learning-rate-free Optimizer on Objective Function-induced Manifolds
이 논문은 목적 함수에 의해 유도된 다양체의 기하학적 구조를 정확히 반영하고 학습률 설정 없이도 최적화 경로를 다양체 상에 유지하도록 설계된 새로운 최적화 알고리즘인 '측지선 경사 하강법 (GGD)'을 제안하며, 이를 통해 기존 Adam 알고리즘 대비 Fully Connected 네트워크와 CNN 에서 각각 MSE 와 교차 엔트로피 손실을 유의미하게 감소시키는 효과를 입증했습니다.
PaLMR: Towards Faithful Visual Reasoning via Multimodal Process Alignment
이 논문은 최종 정답의 정확성뿐만 아니라 시각적 증거에 기반한 추론 과정 자체의 정합성을 강화하여 할루시네이션을 줄이고 시각적 추론의 신뢰성을 높이는 PaLMR 프레임워크를 제안합니다.