Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation
이 논문은 지식 증류 과정에서 학생 모델이 교사의 내부 회로를 재구성하고 압축하여 출력 유사성 이상으로 기능적 정렬을 달성하는 메커니즘을 기계적 해석 기법을 통해 규명하고, 이를 정량화하는 새로운 정렬 지표를 제안합니다.
🤖 Category
cs.LG
2403 편의 논문
Ready2Unlearn: A Learning-Time Approach for Preparing Models with Future Unlearning Readiness
이 논문은 기존에 배포 단계에서 사후적으로 수행되던 기계적 망각을 학습 단계에서 사전에 준비하는 'Ready2Unlearn'이라는 새로운 최적화 접근법을 제안하며, 메타학습 원리를 활용하여 향후 데이터 삭제 요청에 효율적이고 원칙적으로 대응할 수 있는 모델을 구축하는 방법을 제시합니다.
EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video
이 논문은 애플 비전 프로를 활용해 829 시간 분량의 3D 손 관절 추적 데이터와 다양한 일상 조작 행위를 포함하는 대규모 데이터셋 'EgoDex'를 구축하고, 이를 통해 모방 학습 정책의 성능을 평가하는 새로운 벤치마크를 제시합니다.
FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
FreeKV 는 학습이 필요 없는 알고리즘 및 시스템 공동 최적화 프레임워크를 통해 KV 캐시 검색 효율성을 극대화하면서도 정확도를 유지하여, 기존 최첨단 방법 대비 최대 13 배의 속도 향상을 달성합니다.
Online Decision-Focused Learning
이 논문은 고정된 배치 데이터가 아닌 시간에 따라 변화하는 동적 환경에서 의사결정 중심 학습 (DFL) 을 위해 미분 가능성과 비볼록성 문제를 해결하는 두 가지 온라인 알고리즘을 제안하고, 정적 및 동적 후회 (regret) 한계를 증명하여 해당 분야에서 최초의 이론적 보장을 제시합니다.
Vid2World: Crafting Video Diffusion Models to Interactive World Models
이 논문은 대규모 인터넷 데이터로 학습된 비디오 확산 모델을 상호작용 가능한 세계 모델로 전환하기 위해 인과적 구조 재설계와 행동 유도 메커니즘을 도입한 'Vid2World'를 제안하며, 로봇 조작 및 3D 게임 등 다양한 환경에서 확장 가능하고 효과적인 해결책을 제시합니다.
MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision
이 논문은 검증 세트 없이도 메타 피드백을 통해 각 문제实例에 맞춰 에이전트 구성을 동적으로 설계, 비판 및 정제할 수 있는 최초의 자기 진화 추론 시간 프레임워크인 MAS-ZERO 를 제안하며, 다양한 벤치마크에서 기존 수동 및 자동 다중 에이전트 시스템보다 뛰어난 성능을 입증합니다.
HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases
이 논문은 HDL 코드의 구조적 및 어휘적 불일치 문제를 해결하기 위해 추상 구문 트리와 데이터 흐름 그래프를 통합한 'HDLxGraph' 프레임워크와 실세계 HDL 프로젝트 기반의 'HDLSearch' 벤치마크를 제안하여, 기존 RAG 기반 방법론보다 검색, 디버깅, 코드 완성 정확도를 크게 향상시켰음을 보여줍니다.
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
이 논문은 기존 협업 학습 벤치마크가 간과한 실제 데이터 실리 (silos) 의 복잡성을 반영하기 위해, 10 만 개의 실세계 관계형 데이터베이스와 1700 만 개의 연결 관계로 구성된 대규모 벤치마크 'WikiDBGraph'를 제안하고 이를 통해 기존 협업 학습 방법의 한계를 평가하며 실용적 배포를 위한 방향성을 제시합니다.
The Cell Must Go On: Agar.io for Continual Reinforcement Learning
이 논문은 비에피소드적이고 역동적인 'Agar.io'를 기반으로 한 새로운 연구 플랫폼 'AgarCL'을 소개하며, 이를 통해 기존 강화학습 알고리즘과 지속적 학습 방법들의 성능을 평가하고 지속적 강화학습이 안정성 - 가소성 딜레마를 넘어선 더 복잡한 과제를 안고 있음을 시사합니다.
X-MethaneWet: A Cross-scale Global Wetland Methane Emission Benchmark Dataset for Advancing Science Discovery with AI
이 논문은 물리 기반 모델 시뮬레이션 데이터와 실제 관측 데이터를 융합한 최초의 글로벌 습지 메탄 배출 벤치마크 데이터셋 'X-MethaneWet'을 제안하고, 이를 통해 메탄 플럭스 예측을 위한 딥러닝 모델 및 전이 학습 기법의 유효성을 검증하여 AI 기반 기후 모델 발전에 기여합니다.
Maximum Principle of Optimal Probability Density Control
이 논문은 대규모 다중 에이전트 제어 문제를 해결하기 위해 확률 분포 공간에서 최적 제어에 대한 최대 원리와 해밀턴-자코비-벨만 방정식을 rigorously 유도하고, 이를 기반으로 심층 신경망을 활용한 확장 가능한 수치 알고리즘을 제안하여 도메인 장애물 및 에이전트 간 상호작용이 포함된 다양한 예제에서 그 유효성을 입증합니다.
VISTA: Vision-Language Inference for Training-Free Stock Time-Series Analysis
이 논문은 과거 주가 데이터의 텍스트와 차트 이미지를 결합하여 Vision-Language Model(VLM) 을 활용하는 훈련 없는 프레임워크인 VISTA 를 제안하고, 이를 통해 기존 통계 모델 및 텍스트 기반 LLM 보다 최대 89.83% 높은 정확도로 주가 예측 성능을 입증했습니다.
Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations
이 논문은 대규모 언어 모델의 프롬프트 주입 공격을 방어하기 위해, 기존에 입력층에만 적용되던 명령어 계층 신호를 네트워크의 중간 레이어 표현에도 주입하는 새로운 방식을 제안하여 공격 성공률을 획기적으로 낮추고 모델의 유용성을 유지함을 보여줍니다.
OCN: Effectively Utilizing Higher-Order Common Neighbors for Better Link Prediction
이 논문은 고차 공통 이웃의 중복성과 과부드러짐 문제를 해결하기 위해 직교화와 정규화 기법을 도입한 '직교 공통 이웃 (OCN)'을 제안하여 링크 예측 성능을 획기적으로 향상시켰음을 보여줍니다.
ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers
이 논문은 시각 및 촉각 데이터 간의 정교한 공간적 상관관계를 포착하기 위해 로컬 및 글로벌 위치 인코딩을 2 단계로 주입하는 트랜스포머 기반 아키텍처인 ViTaPEs 를 제안하여, 다양한 인식 작업과 로봇 그리핑에서 최첨단 성능과 제로샷 일반화 능력을 입증합니다.
LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
이 논문은 옵티마이저의 모멘텀과 분산까지 저랭크 서브스페이스에 투영하여 전체 모델 미세조정과 유사한 동역학을 구현함으로써, 추가 하이퍼파라미터 튜닝 없이 LoRA 의 성능 한계를 극복하고 전체 미세조정과 유사한 성능을 달성하는 새로운 방법인 LoFT 를 제안합니다.
Rethinking Continual Learning with Progressive Neural Collapse
이 논문은 기존 continual learning 의 고정된 ETF 한계를 극복하고, 새로운 작업이 추가될 때마다 ETF 를 점진적으로 확장하여 클래스 간 최대 분리성을 보장하는 'Progressive Neural Collapse (ProNC)'라는 새로운 프레임워크를 제안하고, 이를 통해 재학습 방지와 성능 향상을 동시에 달성함을 보여줍니다.
Adaptive Correction for Ensuring Conservation Laws in Neural Operators
이 논문은 신경 연산자 (Neural Operator) 의 출력에 물리 법칙 (질량 및 운동량 보존 등) 을 엄격하게 준수하도록 보장하기 위해, 학습 가능한 경량 연산자를 도입하여 유연하게 보정하는 새로운 적응형 보정 기법을 제안하고, 이를 통해 기존 방법들보다 정확도와 안정성을 크게 향상시킴을 이론적 분석과 다양한 실험을 통해 입증합니다.
ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation
이 논문은 비선형 조작 (Nonprehensile Manipulation) 환경에서 데이터 수집 효율성과 계획 신뢰성을 동시에 향상시키기 위해 잔류 물리 모델링과 불확실성 기반의 능동 학습을 결합한 'ActivePusher' 프레임워크를 제안합니다.