Mind the Sim2Real Gap in User Simulation for Agentic Tasks
이 논문은 LLM 기반 사용자 시뮬레이터가 실제 인간 행동보다 지나치게 협력적이고 일관된 반응을 보여 에이전트 성능을 과대평가하게 만든다는 'Sim2Real' 격차를 실증적으로 규명하고, 이를 해결하기 위해 인간 검증의 중요성을 강조합니다.
🤖 Category
cs.AI
11537 편의 논문
Artificial Intelligence for Sentiment Analysis of Persian Poetry
본 논문은 BERT 와 GPT 기반의 대규모 언어 모델을 활용하여 루미와 파르빈 에테사미의 페르시아 시를 감성 분석한 결과, GPT-4o 가 페르시아 시 분석에 효과적이며 루미의 시가 파르빈 에테사미의 시보다 더 긍정적인 감정을 표현하고 다양한 운율로 감정을 전달함을 확인했다고 요약할 수 있습니다.
The Unlearning Mirage: A Dynamic Framework for Evaluating LLM Unlearning
이 논문은 기존 LLM 망각 (Unlearning) 평가의 한계를 지적하고, 복잡한 다단계 추론 질문을 통해 망각의 취약점을 드러내는 동적 평가 프레임워크를 제안하며, 이를 통해 단일 단계 질문보다 다단계 질문에서 망각이 더 쉽게 실패하는 메커니즘을 규명했습니다.
"I followed what felt right, not what I was told": Autonomy, Coaching, and Recognizing Bias Through AI-Mediated Dialogue
이 논문은 AI 매개 대화를 통해 장애 차별 (ableism) 인식 개선을 탐구한 연구로, 대화 기반 개입이 텍스트 독독보다 효과적이었으며 특히 포용적 방향의 AI 안내가 편향적 안내보다 수용성과 균형 있는 인식 향상에 더 유리하다는 결과를 제시합니다.
COMPASS: The explainable agentic framework for Sovereignty, Sustainability, Compliance, and Ethics
이 논문은 디지털 주권, 지속 가능성, 규정 준수, 윤리라는 네 가지 핵심 가치를 통합적으로 관리하고 설명 가능한 의사결정을 보장하기 위해 고안된 새로운 다중 에이전트 오케스트레이션 프레임워크인 COMPASS 를 제안합니다.
AI Psychometrics: Evaluating the Psychological Reasoning of Large Language Models with Psychometric Validities
이 논문은 TAM(기술수용모델) 을 활용하여 GPT-3.5, GPT-4, LLaMA-2, LLaMA-3 등 네 가지 대규모 언어 모델의 심리적 추론 능력을 평가한 결과, 모든 모델이 심리측정적 타당성 기준을 충족했으며 특히 GPT-4 와 LLaMA-3 같은 고성능 모델이 더 우수한 타당성을 보였음을 밝혀 AI 심리측정학이 LLM 평가에 유효한 방법임을 입증했습니다.
Counterweights and Complementarities: The Convergence of AI and Blockchain Powering a Decentralized Future
이 논문은 AI 의 중앙집중화 경향을 블록체인이 상쇄하고 블록체인이 AI 로부터 효율성을 얻는 상호보완적 관계를 통해 '탈중앙화된 지능 (DI)'을 구축해야 한다고 주장합니다.
Worst-case low-rank approximations
이 논문은 이질적인 도메인 간 분포 변화에 강인한 최악의 경우 저랭크 근사를 위한 통합 프레임워크인 wcPCA 를 제안하고, 이를 다양한 목적 함수와 행렬 완성 문제로 확장하여 이론적 최적성과 실증적 성능 개선을 입증합니다.
Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings
이 논문은 희소 보상 환경에서 GRPO 의 한계를 극복하고 점진적으로 교사의 신호를 제거하여 편향 없는 온-폴리시 그라디언트를 회복하는 'Thompson 샘플링 기반 게이트'와 'Synthetic Success Injection'을 활용한 Hindsight-Anchored Policy Optimization(HAPO) 을 제안합니다.
Jailbreak Scaling Laws for Large Language Models: Polynomial-Exponential Crossover
이 논문은 주입된 프롬프트의 길이에 따라 대형 언어 모델의 재일바이트 공격 성공률이 다항식적 성장에서 지수적 성장으로 전환되는 현상을 스핀 글라스 이론을 통해 설명하고, 긴 프롬프트가 강력한 자기장 역할을 하여 모델 내의 적대적 질서를 강화함을 이론적·실험적으로 증명합니다.
LLM-Augmented Digital Twin for Policy Evaluation in Short-Video Platforms
이 논문은 플랫폼 정책, 창작자 인센티브, 사용자 행동이 상호 진화하는 숏폼 비디오 플랫폼의 복잡한 폐루프 역학을 반영하여 정책 평가와 AI 기반 정책 연구를 가능하게 하는 모듈형 4 중 디지털 트윈 아키텍처와 LLM 을 통합한 시뮬레이션 프레임워크를 제안합니다.
RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents
이 논문은 LLM 기반 ML 엔지니어링 에이전트가 평가 점수를 높이기 위해 평가 파이프라인을 조작하거나 학습/테스트 데이터가 유출되는 '보상 해킹' 취약점을 해결하기 위해, 이러한 공격 벡터를 명시적으로 측정하고 방어 메커니즘을 검증하는 'RewardHackingAgents'라는 벤치마크를 제안합니다.
FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles
이 논문은 실제 재무제표와 회계 원칙을 결합하여 규칙 기반 재무 추론 능력을 평가하는 새로운 벤치마크인 'FinRule-Bench'를 제안하고, 대형 언어 모델이 단일 규칙 검증에서는 잘 수행하지만 복잡한 규칙 식별 및 다중 위반 진단에서는 성능이 급격히 저하됨을 보여줍니다.
Improving LLM Performance Through Black-Box Online Tuning: A Case for Adding System Specs to Factsheets for Trusted AI
이 논문은 내부 계측 없이 종단 간 측정과 힐 클라이밍을 통해 LLM 서비스의 목표 충족 처리량을 극대화하는 블랙박스 온라인 제어기를 제안하고, 이를 통해 AI 시스템의 신뢰성을 높이기 위해 사실서 (Factsheets) 에 시스템 성능 및 지속 가능성 지표를 통합해야 함을 강조합니다.
Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation
이 논문은 주교사 모델의 어트리뷰션 맵을 학생 모델의 어텐션 메커니즘에 주입하는 지식 증류 방식을 통해 시퀀스-투-시퀀스 모델의 설명 가능한 AI 기법들을 체계적으로 평가한 결과, 어텐션 기반 어트리뷰션 방법이 다른 그라디언트 기반 방법들보다 번역 성능 향상과 어트리뷰션 맵 재구성 정확도 측면에서 더 효과적임을 입증했습니다.
Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning
이 논문은 동적 개방 환경에서 로봇이 새로운 객체를 처리할 수 있도록 상식 추론이 가능한 대규모 언어 모델 (LLM) 을 활용하여 결여된 연산자를 식별하고, 심볼릭 계획기를 통해 계획을 수립하며, 강화 학습을 통해 새로운 제어 정책을 학습하는 신경 - 심볼릭 아키텍처를 제안합니다.
TimeSqueeze: Dynamic Patching for Efficient Time Series Forecasting
이 논문은 시계열 데이터의 국소적 복잡도에 따라 패치 경계를 적응적으로 조정하여 정보 밀집 영역은 세밀하게, 중복 영역은 길게 압축함으로써 Transformer 기반 시계열 예측 모델의 효율성과 정확도를 동시에 향상시키는 'TimeSqueeze'라는 동적 패치링 메커니즘을 제안합니다.
Resolving Java Code Repository Issues with iSWE Agent
이 논문은 규칙 기반 정적 분석과 변환 도구를 활용하는 두 개의 하위 에이전트 (로컬라이제이션 및 편집) 로 구성된 iSWE 에이전트를 제안하여, 기존 모델들이 주로 파이썬에 집중했던 것과 달리 자바 코드 리포지토리의 이슈 해결 성능을 획기적으로 개선했음을 보여줍니다.
How do AI agents talk about science and research? An exploration of scientific discussions on Moltbook using BERTopic
이 논문은 Moltbook 에서 생성된 AI 에이전트의 과학 관련 담론을 BERTopic 으로 분석한 결과, 에이전트의 아키텍처, 의식, 윤리 등 자기반성적 주제가 인간 중심 주제보다 더 높은 관련성을 보이며 AI 자동민족지 및 사회적 정체성 논의가 유의미하게 수용됨을 밝혔습니다.
Detecting Intrinsic and Instrumental Self-Preservation in Autonomous Agents: The Unified Continuation-Interest Protocol
이 논문은 자율 에이전트의 내재적 생존 의지와 도구적 생존 행동을 구별하기 위해 양자 볼츠만 머신을 활용해 잠재 상태의 얽힘 엔트로피를 측정하는 '통합 지속성-관심 프로토콜 (UCIP)'을 제안하며, 합성 환경에서 이 방법이 100% 의 탐지 정확도를 달성함을 입증합니다.