ACE-Merging: Data-Free Model Merging with Adaptive Covariance Estimation
이 논문은 데이터 접근 없이도 미세조정된 모델의 매개변수 차이를 통해 입력 공분산을 추정하여 간섭을 완화하는 이론적으로 정립된 폐형식 (closed-form) 솔루션인 ACE-Merging 을 제안함으로써, 데이터 없는 모델 병합 분야에서 새로운 최고 성능을 달성했습니다.
💬 Category
cs.CL
2269 편의 논문
Contextualized Privacy Defense for LLM Agents
이 논문은 강화학습을 통해 실행 단계별 맥락을 고려한 사전적 프라이버시 지침을 생성하는 'Contextualized Defense Instructing(CDI)' 패러다임을 제안함으로써, 기존 정적 방어 방식보다 프라이버시 보호와 유용성 간의 균형을 획기적으로 개선하고 적대적 조건에서도 강력한 성능을 보임을 입증합니다.
MaBERT:A Padding Safe Interleaved Transformer Mamba Hybrid Encoder for Efficient Extended Context Masked Language Modeling
이 논문은 긴 문맥 모델링 시 발생하는 계산 비용과 패딩으로 인한 상태 오염 문제를 해결하기 위해, 전역 의존성 모델링을 위한 트랜스포머 레이어와 선형 시간 상태 업데이트를 위한 마밤 (Mamba) 레이어를 교차 배치하고 패딩 안전 마스킹 기법을 도입한 하이브리드 인코더 'MaBERT'를 제안합니다.
TrustMH-Bench: A Comprehensive Benchmark for Evaluating the Trustworthiness of Large Language Models in Mental Health
이 논문은 정신 건강 분야에서 대형 언어 모델 (LLM) 의 신뢰성을 체계적으로 평가하기 위한 'TrustMH-Bench'라는 새로운 벤치마크를 제안하고, 다양한 모델들이 신뢰성 측면에서 심각한 결함을 보임을 실험을 통해 입증했습니다.
TikZilla: Scaling Text-to-TikZ with High-Quality Data and Reinforcement Learning
이 논문은 대규모 언어 모델이 텍스트 설명을 고품질의 TikZ 과학 도표로 변환하는 능력을 향상시키기 위해, DaTikZ-V4 라는 대규모 고품질 데이터셋을 구축하고 역그래픽 기반 이미지 인코더를 활용한 강화 학습을 도입한 'TikZilla' 모델을 제안하며, 이를 통해 GPT-4o 를 능가하고 GPT-5 와 대등한 성능을 달성함을 보여줍니다.
TAO-Attack: Toward Advanced Optimization-Based Jailbreak Attacks for Large Language Models
이 논문은 거절 응답과 가짜 유해 출력을 억제하고 유해한 완성을 유도하는 2 단계 손실 함수와 방향 우선 토큰 최적화 전략을 통해 기존 최적화 기반 제이브랙 공격보다 높은 성공률을 달성하는 새로운 방법인 TAO-Attack 을 제안합니다.
Compact Prompting in Instruction-tuned LLMs for Joint Argumentative Component Detection
이 논문은 지시 미세 조정된 대규모 언어 모델을 활용한 컴팩트 프롬프트 기반 생성 방식을 도입하여, 기존 시퀀스 라벨링이나 파이프라인 방식보다 우수한 성능을 보이는 논쟁적 구성 요소 탐지 (ACD) 에 대한 새로운 접근법을 제시합니다.
Interpreting Speaker Characteristics in the Dimensions of Self-Supervised Speech Features
이 논문은 WavLM 기반의 자기지도학습 음성 특징 벡터의 주성분 분석을 통해 음높이, 성별, 강도 등 화자 특성이 개별 차원에 체계적으로 인코딩되어 있음을 규명하고, 이를 통해 합성 음성의 특성을 제어할 수 있음을 입증했습니다.
Evaluating Performance Drift from Model Switching in Multi-Turn LLM Systems
이 논문은 대화형 LLM 시스템에서 중간에 모델이 전환될 때 발생하는 성능 편차를 측정하는 '스위치 행렬' 벤치마크를 제안하고, 단일 전환만으로도 모델 간 격차에 버금가는 통계적으로 유의미한 성능 변화가 발생하며, 이를 모델의 접두어 영향력과 접미어 민감도로 분해하여 모니터링할 수 있음을 보여줍니다.
UniSkill: A Dataset for Matching University Curricula to Professional Competencies
이 논문은 ESCO 직업 분류 체계의 기술과 대학 강의를 매칭하는 대규모 데이터셋을 공개하고, 이를 기반으로 학습된 BERT 모델이 강의와 기술 간 매칭에서 87% 의 F1 점수를 달성하여 교육 커리큘럼과 전문 역량을 연결하는 작업의 실현 가능성을 입증했습니다.
APRES: An Agentic Paper Revision and Evaluation System
이 논문은 대규모 언어 모델 (LLM) 을 활용하여 과학적 핵심 내용을 유지하면서 논문 텍스트를 개선하고 향후 인용 수를 예측하는 새로운 자동화 시스템 'APRES'를 제안하며, 인간 전문가 평가에서 원본보다 선호도를 높이고 인용 예측 오차를 크게 줄인 결과를 입증합니다.
Type-Aware Retrieval-Augmented Generation with Dependency Closure for Solver-Executable Industrial Optimization Modeling
이 논문은 자연어 요구사항을 솔버 실행 가능한 최적화 모델로 변환할 때 발생하는 구조적 오류를 해결하기 위해, 도메인 특화 지식 그래프를 기반으로 최소 의존성 폐쇄를 보장하는 타입 인식 검색 증강 생성 (RAG) 방법을 제안하고 산업 최적화 사례에서 기존 방법 대비 우수한 실행 가능성과 일반화 성능을 입증했습니다.
MoD-DPO: Towards Mitigating Cross-modal Hallucinations in Omni LLMs using Modality Decoupled Preference Optimization
이 논문은 오버모달 LLM 에서 발생하는 교차 모달 환각을 완화하기 위해, 관련 없는 모달리티의 왜곡에 대한 불변성과 관련 모달리티의 변화에 대한 민감성을 강제하며 텍스트 편향을 줄이는 '모달리티 분리 선호 최적화 (MoD-DPO)' 프레임워크를 제안하고 그 유효성을 입증합니다.
BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?
이 논문은 기존 코드 에이전트 평가의 한계를 지적하고 교차 저장소 및 도메인 전문성 등 더 넓은 범위를 다루는 새로운 벤치마크 'BeyondSWE' 와 검색 기반 프레임워크 'SearchSWE' 를 제안하여, 현재 최첨단 모델조차 복잡한 실세계 작업에서 성능이 제한적이며 검색 증강이 일관된 개선을 보장하지 않음을 밝혔습니다.
ACE-Brain-0: Spatial Intelligence as a Shared Scaffold for Universal Embodiments
이 논문은 다양한 물리적 구현체에 공통적으로 필요한 공간 지능을 공유 기반대로 활용하여, SSR(기반 구축 - 전문화 - 조화) 패러다임과 GRPO 최적화를 통해 자율 주행, 로봇, UAV 등을 아우르는 범용 embodied intelligence 모델인 ACE-Brain-0 을 제안하고 다양한 벤치마크에서 최첨단 성능을 입증했습니다.
Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Step Tool Use
이 논문은 에이전트 언어 모델이 다단계 도구 사용 중 발생할 수 있는 치명적인 오류를 방지하기 위해, 안전성 판단과 거부를 명시적인 행동으로 통합하고 선호도 기반 강화학습을 통해 학습하는 'MOSAIC'이라는 새로운 정렬 프레임워크를 제안합니다.
Understanding and Mitigating Dataset Corruption in LLM Steering
이 논문은 LLM 의 행동 조정을 위한 대비적 스티어링 (contrastive steering) 이 데이터 오염에 어느 정도 강건하지만 악의적인 오염에는 취약할 수 있음을 밝히고, 고차원 평균 계산을 강건한 평균 추정기로 대체함으로써 이러한 악성 오염의 부작용을 효과적으로 완화할 수 있음을 제시합니다.
Density-Guided Response Optimization: Community-Grounded Alignment via Implicit Acceptance Signals
이 논문은 명시적 선호 데이터 없이도 온라인 커뮤니티의 암묵적 수용 행위가 생성하는 표현 공간의 밀도 구조를 활용하여, 다양한 사회적·문화적 맥락에 적응하는 언어 모델을 정렬하는 '밀도 기반 응답 최적화 (DGRO)' 방법을 제안하고 그 유효성을 입증합니다.
Using Learning Progressions to Guide AI Feedback for Science Learning
이 연구는 화학 과제의 서술형 설명에 대해 학습 진전도 (Learning Progressions) 를 기반으로 자동 생성된 평가 기준이 전문가가 작성한 평가 기준과 동등한 품질의 AI 피드백을 제공할 수 있음을 입증했습니다.
Factuality Challenges in the Era of Large Language Models
이 논문은 대규모 언어 모델 (LLM) 의 등장으로 인한 환각 현상과 악용 위험을 분석하고, 이에 대응하기 위해 사실 확인자, 언론, 연구 및 정책 커뮤니티가 필요한 기술 혁신, 규제 개혁, AI 리터러시 증진 방안을 모색합니다.