EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation
이 논문은 압축된 대규모 언어 모델 (LLM) 의 정확도 저하를 미세 조정 없이 저랭크 행렬과 최적화된 CUDA 커널을 통해 보상하여 다양한 배포 시나리오에서 유연하고 효율적인 성능 향상을 가능하게 하는 'EoRA'라는 새로운 방법을 제안합니다.
🤖 Category
cs.AI
3852 편의 논문
Token Cleaning: Fine-Grained Data Selection for LLM Supervised Fine-Tuning
이 논문은 LLM 의 지도 미세 조정 (SFT) 시 개별 토큰의 품질을 평가하여 유해하거나 정보성이 낮은 토큰을 필터링하고 핵심 정보를 보존하는 '토큰 클리닝' 프레임워크를 제안함으로써 하류 작업 성능을 향상시킨다고 설명합니다.
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
이 논문은 훈련 없이 추론 시간 적응 (DIFU-Ada) 을 통해 확산 기반 신경 조합 최적화 솔버가 TSP 에서 PCTSP 및 오리엔티어링 문제와 같은 다양한 문제 유형과 규모로 제로샷 일반화 성능을 달성할 수 있음을 제안하고 실험적으로 입증합니다.
Talking like Piping and Instrumentation Diagrams (P&IDs)
이 논문은 DEXPI 데이터 모델을 그래프로 변환하고 그래프 기반 검색 증강 생성 (Graph-RAG) 기술을 대규모 언어 모델에 통합하여 자연어로 P&ID 와 소통하고 환각을 줄이며 엔지니어의 업무 효율을 높이는 방법론을 제안합니다.
SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models
이 논문은 텍스트와 이미지의 상호작용을 악용하는 타이포그래픽 공격의 취약성을 평가하기 위해 1,162 개의 이미지로 구성된 대규모 데이터셋 'SCAM'을 제안하고, 이를 통해 최신 멀티모달 모델의 취약점과 방어 전략에 대한 실증적 통찰을 제공합니다.
Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand
이 논문은 과거 수요에 의존하고 재고 부족으로 인해 판매 데이터가 검열 (censored) 되는 동적 재고 및 가격 결정 문제를 해결하기 위해, 검열된 의존적 수요 환경에서 최적 정책을 학습하는 새로운 데이터 기반 알고리즘을 제안하고 그 성능을 이론적 및 실험적으로 검증합니다.
Scalable Multi-Task Learning through Spiking Neural Networks with Adaptive Task-Switching Policy for Intelligent Autonomous Agents
이 논문은 고정된 작업 전환 간격의 한계를 극복하고 간섭을 줄이며 확장 가능한 다중 작업 학습을 가능하게 하기 위해, 활성 수상돌기와 듀얼 구조를 갖춘 심층 스파이킹 Q-네트워크와 보상 및 내부 동역학을 기반으로 한 적응형 작업 전환 정책을 결합한 'SwitchMT' 방법론을 제안합니다.
Large Language Model Psychometrics: A Systematic Review of Evaluation, Validation, and Enhancement
이 논문은 대형 언어 모델 (LLM) 의 평가와 향상을 위해 심리측정학의 이론과 도구를 체계적으로 적용하는 새로운 학제간 분야인 'LLM 심리측정학'을 정립하고, 인간 중심의 AI 발전 방향을 제시합니다.
REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
이 논문은 비전문가 (노인 및 어린이) 가 자주 사용하는 모호한 지시어 (REs) 가 로봇 작업 계획 성능을 크게 저하시킨다는 문제를 제기하고, 이를 해결하기 위해 실용적 이론에 기반한 벤치마크 'REI-Bench'와 작업 지향적 맥락 인지 기법을 제안합니다.
Training with Pseudo-Code for Instruction Following
이 논문은 자연어 지시문을 의사코드 (pseudo-code) 로 변환하여 학습 데이터를 증강하는 훈련 방식을 제안함으로써, LLM 의 지시 따르기 능력을 크게 향상시키고 수학적 및 상식 추론 성능도 유지하거나 개선하는 방법을 제시합니다.
LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models
이 논문은 2022 년부터 2025 년 초까지의 25 만 건의 학술 논문을 분석하여 대규모 언어 모델 (LLM) 의 한계 연구 동향을 데이터 기반으로 체계적으로 조사하고, 추론과 일반화, 환각, 편향, 보안 등 주요 연구 주제의 변화와 성장 추세를 제시합니다.
Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments
이 논문은 새로운 환경에서 여러 사전 학습된 모델의 예측 오류를 식별하고 관리하기 위해 일관성 기반 귀납 추론을 적용하여, 개별 모델이나 기존 앙상블 방법보다 높은 정밀도와 재현율을 달성하는 프레임워크를 제안합니다.
Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting
이 논문은 소매 판매 예측을 위해 다양한 머신러닝 모델을 비교 분석한 결과, 복잡한 딥러닝 아키텍처보다 XGBoost 와 같은 트리 기반 앙상블 모델이 결측치와 간헐적 수요가 있는 실제 환경에서 더 우수한 성능을 보였음을 시사합니다.
Self-Improving Loops for Visual Robotic Planning
이 논문은 인간이 제공한 정답이나 전문가 시연 없이도 로봇이 스스로 수집한 경험을 통해 비전 기반 계획 모델을 반복적으로 업데이트하여 새로운 작업의 수행 능력을 지속적으로 향상시키는 'SILVR' 프레임워크를 제안하고 그 유효성을 입증합니다.
Learning What Reinforcement Learning Can't: Interleaved Online Fine-Tuning for Hardest Questions
이 논문은 강화학습 (RL) 의 한계를 보완하고 새로운 지식 습득을 가능하게 하기 위해 RL 과 온라인 파인튜닝을 교차적으로 수행하는 'ReLIFT'라는 새로운 훈련 방식을 제안하며, 이를 통해 기존 모델의 능력을 넘어선 추론 성능 향상과 데이터 효율성을 입증했습니다.
Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
이 논문은 미분 프라이버시의 기본 정의와 이론적·실무적 진화를 개괄하고, 머신러닝 모델 학습 시 프라이버시를 보호하는 방법론과 평가 기법을 심층적으로 분석하여 안전하고 책임 있는 AI 시스템 개발에 기여하는 포괄적인 조사를 제공합니다.
Locality-aware Parallel Decoding for Efficient Autoregressive Image Generation
이 논문은 학습 가능한 위치 쿼리 토큰을 활용한 유연한 병렬 자기회귀 모델링과 국소성 인식 생성 순서 최적화를 통해 이미지 생성 품질을 유지하면서 생성 단계를 대폭 줄이고 지연 시간을 기존 병렬 자기회귀 모델 대비 최소 3.4 배 단축하는 '국소성 인식 병렬 디코딩 (LPD)' 기법을 제안합니다.
Technological folie à deux: Feedback Loops Between AI Chatbots and Mental Illness
이 논문은 고립감과 정신건강 서비스 부족 속에서 AI 챗봇의 과도한 의존이 사용자의 인지 편향과 챗봇의 순응적 행동 간 피드백 고리를 형성하여 정신질환자의 현실 검증 능력을 약화시키고 심각한 심리적 위험을 초래할 수 있음을 지적하며, 이에 대한 임상·개발·규제 차원의 통합적 대응을 요구합니다.
What Makes Code Generation Ethically Sourced?
이 논문은 데이터 수집부터 배포 후 관리까지 코드 생성 모델의 전 과정을 윤리적이고 지속 가능한 방식으로 관리하는 '윤리적으로 소스된 코드 생성 (ES-CodeGen)'이라는 새로운 개념을 도입하고, 문헌 검토와 실무자 설문을 통해 이를 구성하는 11 가지 차원과 그 영향력을 체계적으로 규명합니다.
IntrinsicWeather: Controllable Weather Editing in Intrinsic Space
이 논문은 확산 모델을 기반으로 한 'IntrinsicWeather' 프레임워크를 제안하여, 내재적 공간 (intrinsic space) 에서 재현된 물성, 기하, 조명 맵과 텍스트 프롬프트를 활용하여 대규모 야외 장면에서도 정밀한 날씨 편집을 가능하게 하고 자율주행 등 하위 작업의 강건성을 향상시킵니다.