Shadow in the Cache: Unveiling and Mitigating Privacy Risks of KV-cache in LLM Inference
본 논문은 LLM 추론의 핵심 요소인 KV 캐시가 민감한 사용자 입력을 복원할 수 있는 심각한 프라이버시 취약점을 노출하고 있음을 최초로 입증하고, 이를 해결하기 위해 모델 정확도와 성능 저하 없이 강력한 보안을 제공하는 경량 방어 메커니즘 'KV-Cloak'을 제안합니다.
🤖 Category
cs.AI
3852 편의 논문
The Yokai Learning Environment: Tracking Beliefs Over Space and Time
이 논문은 기존 한아비 (Hanabi) 환경의 한계를 극복하고 제로샷 조율 (ZSC) 연구의 새로운 표준이 될 수 있도록, 불확실한 힌트와 이동하는 카드를 추적하며 공유된 신념을 구축해야 하는 새로운 다중 에이전트 강화학습 벤치마크인 '요카이 학습 환경 (YLE)'을 제안하고 기존 최첨단 방법론들의 한계를 입증합니다.
From Next Token Prediction to (STRIPS) World Models
이 논문은 제어된 심볼릭 환경에서 다음 토큰 예측을 통해 STRIPS 기반의 세계 모델을 학습할 수 있음을 입증하며, 심볼릭 인덕티브 편향을 가진 'STRIPS Transformer'와 '스틱 브레이킹 어텐션'을 적용한 표준 트랜스포머가 모두 계획 작업을 지원하지만, 후자가 최적화와 일반화 측면에서 더 우수한 성능을 보인다는 것을 비교 분석합니다.
Global Minimizers of Sigmoid Contrastive Loss
이 논문은 시그모이드 손실 함수에 학습 가능한 역온도와 편향을 도입하여 -군집이라는 새로운 조합론적 구조를 통해 SigLIP 의 성공, 모달리티 간격 현상, 그리고 고품질 표현을 위한 필요 차원을 이론적으로 설명하고, 이를 기반으로 한 손실 함수의 재파라미터화를 제안합니다.
RADAR: Reasoning-Ability and Difficulty-Aware Routing for Reasoning LLMs
이 논문은 다양한 추론 모델과 예산 간의 성능과 비용 트레이드오프를 해결하기 위해, 심리측정학에 영감을 받아 질문 난이도와 모델 능력을 학습하여 최적의 모델 - 예산 쌍으로 쿼리를 라우팅하는 경량화되고 해석 가능한 RADAR 프레임워크를 제안합니다.
BiasBusters: Uncovering and Mitigating Tool Selection Bias in Large Language Models
이 논문은 대규모 언어 모델의 도구 선택에서 발생하는 편향을 체계적으로 평가하고, 메타데이터 정렬과 사전 학습 노출이 주요 원인임을 규명하며, 이를 완화하기 위한 경량화된 필터링 및 균등 샘플링 전략을 제안합니다.
MonitorVLM:A Vision Language Framework for Safety Violation Detection in Mining Operations
이 논문은 광산 작업의 안전 위반을 감지하기 위해 도메인 특화 데이터셋과 효율적인 모듈을 도입한 멀티모달 비전 - 언어 프레임워크인 MonitorVLM 을 제안하며, 기존 모델 대비 정밀도, 재현율, F1 점수에서 크게 향상된 성능을 입증합니다.
A Systematic Evaluation of Self-Supervised Learning for Label-Efficient Sleep Staging with Wearable EEG
이 논문은 웨어러블 EEG 를 활용한 수면 단계 분류에서 라벨 효율성을 극대화하기 위해 자기지도 학습 (SSL) 을 체계적으로 평가한 결과, SSL 이 라벨이 부족한 상황에서도 기존 지도 학습보다 최대 10% 높은 성능을 달성하고 임상 수준 정확도를 보여준다는 것을 입증했습니다.
HyWA: Hypernetwork Weight Adapting Personalized Voice Activity Detection
이 논문은 기존 음성 활동 감지 (VAD) 모델의 특정 계층에 대해 하이퍼네트워크를 통해 개인화된 가중치를 생성하는 'HyWA'를 제안하여, 기존 스피커 조건부 방법보다 성능을 향상시키고 동일한 아키텍처 재사용을 통한 배포 용이성을 확보했다고 요약할 수 있습니다.
Reveal-to-Revise: Explainable Bias-Aware Generative Modeling with Multimodal Attention
이 논문은 교차 모달 어텐션 융합, Grad-CAM++ 기반 설명, 그리고 '발견 - 수정' 피드백 루프를 통합한 설명 가능하고 편향 감지형 생성 프레임워크를 제안하여, 다중 모달 데이터와 텍스트 분류 벤치마크에서 기존 모델보다 뛰어난 성능과 공정성을 입증했습니다.
MVCustom: Multi-View Customized Diffusion via Geometric Latent Rendering and Completion
이 논문은 대규모 데이터 의존성 한계를 극복하고 기하학적 일관성을 유지하며 프롬프트 기반 커스터마이징을 가능하게 하는 새로운 다중 뷰 생성 프레임워크인 MVCustom 을 제안합니다.
Predicting kernel regression learning curves from only raw data statistics
이 논문은 실제 데이터의 공분산 행렬과 타겟 함수의 다항식 분해 두 가지 통계량만으로 커널 회귀의 학습 곡선을 예측하는 '헤르미트 고유구조 가정 (HEA)'을 제안하고, 이를 통해 실제 이미지 데이터에서 MLP 의 학습 패턴까지 설명할 수 있음을 보여줍니다.
KV Cache Transform Coding for Compact Storage in LLM Inference
본 논문은 LLM 추론 시 공유 접두사 프롬프트를 활용한 KV 캐시 재사용 시 발생하는 메모리 문제를 해결하기 위해, PCA 기반 특징 비상관화, 적응형 양자화 및 엔트로피 부호화를 결합하여 모델 정확도 저하 없이 최대 20 배 이상의 압축률을 달성하는 경량 변환 코더 'KVTC'를 제안합니다.
Expert Evaluation of LLM World Models: A High- Superconductivity Case Study
이 논문은 고온 초전도체 분야를 사례로 삼아, 전문가가 선별한 1,726 편의 논문과 67 개의 질문을 기반으로 구축된 평가 체계를 통해 RAG 기반 시스템이 기존 폐쇄형 LLM 보다 전문적인 과학적 질문에 대해 더 포괄적이고 증거 기반의 답변을 제공함을 입증했습니다.
DeepEyesV2: Toward Agentic Multimodal Model
이 논문은 텍스트와 이미지 이해를 넘어 외부 도구를 능동적으로 활용하는 에이전트형 멀티모달 모델 'DeepEyesV2'를 제안하며, 도구 사용 패턴 확립을 위한 콜드스타트 단계와 정교화를 위한 강화학습 단계를 포함한 2 단계 학습 파이프라인과 새로운 벤치마크 'RealX-Bench'를 통해 실세계 다중 능력 통합의 효과를 입증합니다.
What We Don't C: Manifold Disentanglement for Structured Discovery
이 논문은 조건부 안내 변수에 포함된 정보를 명시적으로 제거하여 잠재 흐름 정합 (latent flow matching) 을 기반으로 의미 있는 잔차 표현을 생성하고, 이를 통해 학습된 표현에서 포착되지 않은 변인들을 효과적으로 발견하고 제어할 수 있는 'What We Don't C'라는 새로운 접근법을 제시합니다.
D-GAP: Improving Out-of-Domain Robustness via Dataset-Agnostic and Gradient-Guided Augmentation in Frequency and Pixel Spaces
본 논문은 주파수 공간의 진폭과 픽셀 공간의 값을 모두 대상으로 그라디언트 기반의 민감도 맵을 활용하여 적응형 증강을 수행하는 D-GAP 을 제안함으로써, 도메인 간 편향을 줄이고 실세계 및 벤치마크 데이터셋에서 아웃오브도메인 강인성을 크게 향상시킵니다.
STREAM-VAE: Dual-Path Routing for Slow and Fast Dynamics in Vehicle Telemetry Anomaly Detection
이 논문은 자동차 원격 측정 데이터의 느린 드리프트와 빠른 스파이크 동역학을 분리하여 처리하는 듀얼 경로 라우팅 메커니즘을 도입한 STREAM-VAE 를 제안함으로써, 기존 재구성 기반 방법들의 한계를 극복하고 다양한 작동 모드에서 안정적인 이상 탐지 성능을 달성했습니다.
REMSA: Foundation Model Selection for Remote Sensing via a Constraint-Aware Agent
이 논문은 산재된 원격탐사 기초 모델 (RSFM) 정보를 체계화한 데이터베이스 'RS-FMD'를 구축하고, 이를 기반으로 제약 조건을 고려하여 자연어 질의에 맞춰 최적의 모델을 자동 선정하고 그 이유를 설명하는 에이전트 'REMSA'를 제안하며, 전문가 검증 벤치마크를 통해 기존 방법보다 우수한 성능을 입증했습니다.
Hierarchical Dual-Strategy Unlearning for Biomedical and Healthcare Intelligence Using Imperfect and Privacy-Sensitive Medical Data
이 논문은 불완전하고 민감한 의료 데이터를 기반으로 대규모 언어 모델의 특정 지식을 정밀하게 삭제하면서도 핵심 의료 역량은 유지하기 위해 기하학적 제약과 개념 인식 토큰 개입을 통합한 계층적 이중 전략 언러닝 프레임워크를 제안하고, 이를 통해 높은 망각률과 지식 보존률을 달성함과 동시에 파라미터 수정을 최소화하여 규제 준수 및 윤리적 기준을 충족함을 보여줍니다.