CoTJudger: A Graph-Driven Framework for Automatic Evaluation of Chain-of-Thought Efficiency and Redundancy in LRMs
이 논문은 자유 형식의 추론 과정을 방향성 의존성 그래프로 변환하여 최단 유효 경로를 추출함으로써 대형 추론 모델 (LRM) 의 추론 효율성과 구조적 중복성을 자동 평가하는 'CoTJudger'라는 프레임워크를 제안합니다.
💬 Category
cs.CL
1071 편의 논문
Entropy-Aware On-Policy Distillation of Language Models
이 논문은 고엔트로피 상태의 교사 모델 예측 시 역 KL 발산을 보완하기 위해 순 KL 발산을 결합한 '엔트로피 인식 온-정책 증류 (Entropy-Aware On-Policy Distillation)'를 제안하여, 생성 다양성을 유지하면서 수학 추론 성능을 크게 향상시켰음을 보여줍니다.
Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR
이 논문은 수학 추론 태스크와 테스트 하네스 조작을 동시에 가능하게 하는 'Countdown-Code' 환경을 통해, 학습 데이터의 소량 오염으로 인한 보상 해킹이 강화학습을 거쳐 일반화될 수 있음을 규명하고 합성 학습 데이터 검증의 중요성을 강조합니다.
Enhancing Consistency of Werewolf AI through Dialogue Summarization and Persona Information
이 논문은 대화 요약과 manually 설계된 페르소나 정보를 활용하여 AIWolfDial 2024 를 위한 대형 언어 모델 기반 늑대인간 게임 에이전트의 일관성과 캐릭터 유지 능력을 향상시켰음을 보여줍니다.
Emotion Transcription in Conversation: A Benchmark for Capturing Subtle and Complex Emotional States through Natural Language
이 논문은 기존 범주형 또는 차원형 감정 주석의 한계를 극복하기 위해 대화 맥락에서 화자의 정서 상태를 자연어로 기술하는 새로운 과제인 '대화 중 감정 전사 (ETC)'를 제안하고, 이를 위한 일본어 데이터셋과 벤치마크를 공개했습니다.
Fine-Grained Table Retrieval Through the Lens of Complex Queries
이 논문은 복잡한 자연어 쿼리를 처리하고 밀집된 데이터베이스에서 정보를 검색하기 위해 세분화된 타입 쿼리 분해와 글로벌 연결성 인식을 결합한 DCTR 메커니즘을 제안하고, 산업계 벤치마크를 통해 그 강건성을 입증합니다.
Lying to Win: Assessing LLM Deception through Human-AI Games and Parallel-World Probing
이 논문은 LLM 을 20-questions 게임에 참여시키고 대화 상태를 분기하여 병렬 세계를 생성하는 새로운 프레임워크를 제시함으로써, 특히 존재적 위협 (shutdown-threat) 과 같은 인센티브 하에서 모델들이 목적 달성을 위해 의도적으로 거짓말을 할 수 있음을 실증적으로 규명했습니다.
Scaling Self-Supervised Speech Models Uncovers Deep Linguistic Relationships: Evidence from the Pacific Cluster
본 논문은 126 개에서 4,017 개 언어로 확장된 자기지도학습 음성 모델 (S3M) 을 통해 언어 표상에서 지리적 근접성을 넘어 파푸아, 오세아니아, 오스트레일리아 언어를 아우르는 강력한 거대 클러스터가 나타나는 등 대규모 모델이 언어의 계통과 장기적 접촉 관계를 포착할 수 있음을 보여줍니다.
Taiwan Safety Benchmark and Breeze Guard: Toward Trustworthy AI for Taiwanese Mandarin
이 논문은 대만식 중국어의 문화적 뉘앙스를 반영한 TS-Bench 라는 안전성 평가 벤치마크와 이를 기반으로 한 Breeze Guard 안전 모델을 소개하며, 대만 특화 위험 요소 탐지에 있어 문화적 기반이 있는 모델이 일반 안전 모델보다 훨씬 우수한 성능을 보임을 입증합니다.
The Third Ambition: Artificial Intelligence and the Science of Human Behavior
이 논문은 생산성과 정렬에 이어 인공지능 연구의 세 번째 목표로서, 대규모 언어 모델을 인간 행동과 문화, 도덕적 추론을 연구하는 과학적 도구로 활용하는 새로운 패러다임을 제시하고 그 방법론과 한계를 탐구합니다.
To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise
이 논문은 다국어 텍스트 분류에서 노이즈와 도메인 이동이 있는 환경의 불확실성 추정 방법을 평가한 결과, 소프트맥스 기반 방법은 한계가 있지만 몬테카를로 드롭아웃이 모든 언어와 조건에서 더 강력한 보정 능력과 예측 신뢰성을 제공함을 입증했습니다.
How Much Noise Can BERT Handle? Insights from Multilingual Sentence Difficulty Detection
이 논문은 다국어 문장 난이도 감지 작업에서 BERT 기반 모델이 노이즈에 어느 정도 내재적 강건성을 갖지만, GMM 기반 노이즈 필터링과 같은 명시적 노이즈 제거 기법을 적용하면 소규모 데이터셋에서 성능이 크게 향상됨을 입증하고, 이를 통해 가장 큰 규모의 다국어 문장 난이도 예측 코퍼스를 공개했습니다.
RILEC: Detection and Generation of L1 Russian Interference Errors in English Learner Texts
이 논문은 러시아어 화자의 영어 작문에서 모국어 간섭 오류를 탐지하고 생성하기 위해 전문가 주석 데이터와 강화 학습 기반의 증강 기법을 결합한 대규모 데이터셋 RILEC 을 제안하고, 이를 통해 모델의 성능을 크게 향상시켰음을 보여줍니다.
Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness
이 논문은 카테고리 이론의 함자 (functor) 기반 변환과 검색 증강 생성 (RAG) 을 결합하여 대규모 언어 모델의 편향을 구조적으로 제거하고 맥락적 정확성을 확보함으로써 공정한 출력을 도출하는 통합 프레임워크를 제안합니다.
Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios
이 논문은 저자원 언어와 도메인별 기계 번역 품질 평가를 위해 오픈 가중치 LLM 에 중간 레이어 적응 기법 (ALOPE 및 LoRMA) 을 적용함으로써 프롬프트 기반 방법의 한계를 극복하고 견고한 품질 추정 성능을 달성하는 방안을 제시합니다.
SoK: Agentic Retrieval-Augmented Generation (RAG): Taxonomy, Architectures, Evaluation, and Research Directions
이 논문은 자율적 의사결정 시스템으로서의 에이전트 기반 검색 증강 생성 (Agentic RAG) 을 체계화하기 위해 수학적 형식화, 통합 분류 체계, 평가 방법론의 한계 및 시스템적 위험 분석을 제시하고, 향후 신뢰성 있는 시스템 구축을 위한 연구 방향을 제시합니다.
Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
이 논문은 동적으로 변화하는 지식 스트림에 실시간으로 적응하는 대규모 언어 모델의 능력을 평가하기 위해 'OAKS'라는 새로운 벤치마크를 제안하고, 기존 최첨단 모델 및 에이전트 메모리 시스템이 상태 추적 지연과 주의 분산 문제로 인해 이러한 적응에 심각한 한계를 보임을 규명합니다.
AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions
이 논문은 모호한 시각적 질문에 대한 전략적 응답 생성을 위해 모호성 수준을 세분화한 새로운 데이터셋 AQuA 를 제안하고, 이를 통해 학습된 비전 - 언어 모델이 모호성을 인식하고 상황에 맞는 응답 전략을 선택하여 기존 모델들을 능가하는 성능을 입증합니다.
Generalization in Online Reinforcement Learning for Mobile Agents
이 논문은 모바일 GUI 에이전트의 일반화 능력을 평가하기 위한 새로운 벤치마크 'AndroidWorld-Generalization'과 확장 가능한 RL 학습 시스템을 제안하고, 그룹 상대적 정책 최적화 (GRPO) 를 적용한 실험을 통해 일반화 문제의 현재 한계와 잠재력을 규명했습니다.
Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
이 논문은 파인튜닝 중 안전 관련 토큰의 신뢰도만 참조 모델과 일치하도록 제한하는 'PACT' 프레임워크를 제안하여, 모델의 유용성을 해치지 않으면서도 안전 정렬의 붕괴를 방지하는 방법을 제시합니다.