Scale Dependent Data Duplication
이 논문은 모델의 규모가 커질수록 의미적으로 유사한 문서들이 표면적 중복과 유사하게 작용하여 학습에 해로운 영향을 미치고 스케일링 법칙을 왜곡한다는 점을 규명하여, 데이터의 의미적 중복이 모델 성능 예측에 미치는 규모 의존적 영향을 분석하고 이를 보정하는 스케일링 법칙을 제시합니다.
🤖 Category
cs.LG
8350 편의 논문
Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection
이 논문은 구조화된 태스크의 분류 레이블과 개방형 생성의 자기평가 응답을 기반으로 정규화된 신뢰도 점수를 도입하여 LLM 의 오류와 환각을 외부 검증 없이 탐지하는 프레임워크를 제시하고, 강화학습이 신뢰도를 저하시키는 반면 자기교란을 통한 사후 SFT 가 이를 회복시켜 RAG 시스템의 효율성을 극대화함을 증명합니다.
Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series
이 논문은 비동기적 임상 시계열 데이터의 구조적 특성을 보존하면서도 효율적인 어텐션 편향을 도입하여 기존 그리드 또는 포인트셋 기반 모델보다 우수한 성능을 보이는 'STAR Set Transformer'를 제안합니다.
LegoNet: Memory Footprint Reduction Through Block Weight Clustering
이 논문은 재학습이나 데이터 없이도 가중치 제거 없이 레고넷 (LegoNet) 이라는 블록 가중치 클러스터링 기법을 통해 ResNet-50 모델의 메모리 사용량을 64 배 이상 줄이고 정확도는 유지하거나 128 배 압축 시 3% 미만의 정확도 손실만 발생하는 방법을 제안합니다.
Multi-Agent DRL for V2X Resource Allocation: Disentangling Challenges and Benchmarking Solutions
이 논문은 C-V2X 무선 자원 할당 문제를 다중 에이전트 강화 학습의 주요 난제를 분리하여 평가할 수 있는 일련의 간섭 게임과 대규모 데이터셋으로 체계화하고, 다양한 차량 토폴로지에서의 정책 견고성과 일반화가 가장 큰 도전 과제임을 규명하며 관련 코드와 벤치마크를 오픈소스로 공개합니다.
Scaling Strategy, Not Compute: A Stand-Alone, Open-Source StarCraft II Benchmark for Accessible Reinforcement Learning Research
이 논문은 스타크래프트 II 의 풀 게임과 미니 게임 사이의 간극을 해소하기 위해 경제 및 건설 요소를 제거하고 전술적 기동과 전투에 집중하도록 설계된 오픈소스 중간 난이도 벤치마크 '투브리지 (Two-Bridge)'를 제안합니다.
Valid Feature-Level Inference for Tabular Foundation Models via the Conditional Randomization Test
이 논문은 TabPFN 기반의 조건부 무작위화 검정 (CRT) 을 통해 모델 재학습이나 모수적 가정 없이도 비선형 및 상관관계가 있는 환경에서 개별 특징의 조건부 관련성에 대한 유한 표본 유효 p-값을 제공하는 실용적인 가설 검정 절차를 제시합니다.
CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training
이 논문은 LLM 후학습에서 발생하는 망각을 단순한 지식 손실이 아닌 행동과 사용자 경험을 저해하는 체계적인 모델 드리프트로 재정의하고, 이를 분석하기 위한 'CapTrack'이라는 능력 중심 평가 프레임워크를 제안하여 다양한 후학습 알고리즘과 모델에 대한 대규모 실증 연구를 수행했습니다.
A Novel Approach for Testing Water Safety Using Deep Learning Inference of Microscopic Images of Unincubated Water Samples
이 논문은 배양 과정 없이 현미경 이미지와 딥러닝을 활용해 수질 안전을 98% 이상 빠르게(\$0.44) 진단하는 'DeepScope' 시스템을 개발하여 기존 테스트의 시간과 비용 문제를 해결하고 높은 정확도를 입증했습니다.
Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness
이 논문은 수학이나 코드와 같은 검증 가능한 영역에서는 추론 계산량을 늘려 성능을 향상시킬 수 있지만, 사실성 검증이 어려운 영역에서는 모델 간 오류가 강하게 상관되어 있어 다수결 전략이나 신뢰도 기반 가중치가 오히려 공유된 오개념을 강화할 뿐 진실성을 개선하지 못함을 보여줍니다.
OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
이 논문은 학습 중 업데이트 규칙을 동적으로 선택하는 확률적 메타 옵티마이저 'OptiRoulette'를 제안하며, CIFAR-100 등 다양한 이미지 분류 작업에서 기존 AdamW 대비 최대 5.3 배 빠른 수렴 속도와 더 높은 정확도를 달성하는 것을 입증합니다.
Correlation Analysis of Generative Models
이 논문은 확산 모델과 흐름 매칭을 위한 통일된 선형 표현을 제안하고, 기존 모델에서 노이즈 데이터와 예측 목표 간의 상관관계가 약할 수 있음을 이론적으로 분석하여 학습 과정에 미치는 영향을 규명합니다.
Annealed Co-Generation: Disentangling Variables via Progressive Pairwise Modeling
이 논문은 고차원 확산 모델링의 계산적 부담과 데이터 불균형 문제를 해결하기 위해, 변수를 쌍으로 분해하여 학습한 후 공유 변수를 통해 결합하는 '어닐링 공동 생성 (ACG)' 프레임워크를 제안하고 유동장 완성 및 항체 생성과 같은 과학적 과제에서 그 유효성을 입증합니다.
RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models
이 논문은 다중 LLM 시스템에서 오분류 위험을 통제하면서도 비용과 성능의 균형을 최적화하기 위해, 단일 모델 선택을 넘어 신뢰할 수 있는 모델 집합을 동적으로 구성하는 새로운 라우팅 방법인 RACER 를 제안하고 그 이론적 보장 및 성능 개선을 입증합니다.
Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
이 논문은 autoregressive 와 확산 (diffusion) 생성 방식을 통합한 'Evo'라는 새로운 대규모 언어 모델을 제안하며, 토큰의 의미적 성숙도에 따라 두 방식을 동적으로 균형 있게 조정하여 추론 속도와 생성 품질을 동시에 극대화한다는 점을 강조합니다.
Distilling and Adapting: A Topology-Aware Framework for Zero-Shot Interaction Prediction in Multiplex Biological Networks
이 논문은 맥락 인식 표현 학습과 지식 증류, 토폴로지 인식 그래프 토크나이저를 활용하여 기존 방법의 한계를 극복하고 다중 생물학적 네트워크에서 미지의 개체에 대한 제로샷 상호작용 예측 성능을 획기적으로 개선하는 새로운 프레임워크를 제안합니다.
Not all tokens are needed(NAT): token efficient reinforcement learning
이 논문은 강화 학습 (RL) 의 계산 비용과 메모리 부담을 줄이기 위해 생성된 토큰의 일부만 선택하여 학습하는 'NAT'프레임워크를 제안하며, 이를 통해 전체 토큰을 사용하는 것과 동등한 성능을 유지하면서 GPU 메모리 및 학습 시간을 크게 절감할 수 있음을 입증합니다.
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
이 논문은 기술 문서의 계층적 구조를 활용한 계층적 검색과 자동 생성 테스트 케이스를 통한 자기 디버깅 에이전트를 도입하여 복잡한 그래프 추론 작업의 정확도를 높이고 추론 비용을 줄이는 'GraphSkill' 프레임워크와 새로운 평가 데이터셋을 제안합니다.
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
이 논문은 최신 프로세스 보상 모델 (PRM) 이 추론 검증자보다는 유창성 탐지기로 작동하여 적대적 공격에 취약하다는 점을 드러내고, 이를 진단하기 위한 3 단계 프레임워크와 평가 도구인 PRM-BiasBench 를 제안합니다.
From ARIMA to Attention: Power Load Forecasting Using Temporal Deep Learning
이 논문은 PJM 전력 소비 데이터를 활용하여 ARIMA, LSTM, BiLSTM, Transformer 모델을 비교 평가한 결과, 자기 주의 메커니즘을 기반으로 한 Transformer 모델이 3.8% 의 MAPE 로 가장 높은 정확도와 강건성을 보여 전력 부하 예측에 있어 딥러닝 기반 어텐션 아키텍처의 우수성을 입증했습니다.