Your LLM Agents are Temporally Blind: The Misalignment Between Tool Use Decisions and Human Time Perception

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 기반 에이전트는 동적 환경에서 외부 도구 (검색 엔진, 데이터베이스 등) 를 활용하여 복잡한 작업을 수행합니다. 그러나 기존 에이전트들은 **시간적 맹목성 (Temporal Blindness)**이라는 치명적인 한계를 가지고 있습니다.

• 시간적 맹목성: 에이전트가 사용자 메시지 간의 실제 경과 시간을 고려하지 않고, 기본적으로 정적인 (stationary) 컨텍스트를 가정하는 현상입니다.
• 발생하는 오류:
  • 과도한 의존 (Over-reliance): 시간이 지났음에도 구식 (stale) 정보를 신뢰하여 필요한 도구 호출을 생략하고 잘못된 답변을 생성합니다.
  • 불충분한 의존 (Under-reliance): 정보가 변하지 않을 가능성이 높은 안정적 상황에서도 불필요하게 도구를 반복 호출하여 자원 낭비와 지연 (latency) 을 초래합니다.
• 현황: 인간은 시간의 흐름을 자연스럽게 의사결정에 반영하지만, 현재 LLM 에이전트는 명시적인 시간 정보가 제공되더라도 인간의 시간 인식과 도구 사용 결정 사이의 정렬 (alignment) 이 매우 낮습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축: TicToc

이 문제를 체계적으로 연구하기 위해 저자들은 **TicToc (Time-aware conversational Tool-calling)**이라는 새로운 데이터셋을 구축했습니다.

• 규모: 1,800 개 이상의 다중 턴 (multi-turn) 사용자 - 에이전트 대화 궤적, 76 개의 다양한 시나리오.
• 시나리오 분류 (시간 민감도):
  • 낮음 (Low): 정적 환경 (규정, 매뉴얼, 아카이브 기록 등).
  • 중간 (Medium): 주기적 변화 (날씨 예보, 예약 상태, 항공권 가격 등).
  • 높음 (High): 초단위/분단위로 급변하는 환경 (주식 시장, 실시간 교통, 경매 등).
• 궤적 생성: 읽기 전용 (Read-only) 및 읽기 + 쓰기 (Read+Write) 환경에 따라 4 가지 변형 (반복 질문, 비교, 상세 조회, 추론 등) 을 적용하여 GPT-4o 를 이용해 합성 생성했습니다.
• 시간 스탬프 주입: 각 메시지에 ISO 8601 형식의 타임스탬프를 부여하고, 시나리오의 민감도에 따라 Small, Medium, Large 단계의 경과 시간 ($\Delta t$) 을 시뮬레이션했습니다.
• 인간 선호도 수집: 각 샘플에 대해 "도구 호출 (Tool)"과 "직접 답변 (Direct)" 중 어떤 것이 더 적절한지에 대한 인간 어노테이터의 선호도를 수집하고 집계했습니다 (신뢰도 높은 3,016 개 샘플 유지).

2.2 실험 설정

• 평가 모델: 18 개의 상용 및 오픈소스 LLM (GPT-4o, Qwen3, Llama, DeepSeek 등).
• 조건: 타임스탬프 유무에 따른 도구 호출 결정 평가.
• 지표: 정규화된 정렬률 (Normalized Alignment Rate, NAR). 인간 선호도와 모델의 도구 호출 결정이 일치하는 비율을 측정 (50% 는 무작위 추측 수준).

2.3 개선 시도

• 프롬프트 엔지니어링: 시스템 프롬프트에 시간 인식 관련 지시사항이나 퓨샷 (few-shot) 예시 추가.
• 후속 학습 (Post-training): TicToc 데이터의 일부로 **DPO (Direct Preference Optimization)**를 적용하여 모델을 미세 조정 (Fine-tuning).

3. 주요 결과 (Key Results)

3.1 시간적 맹목성의 심각성

• 타임스탬프 부재 시: 대부분의 모델이 무작위 추측 (약 55% NAR) 수준으로 성능을 발휘했습니다.
• 타임스탬프 제공 시: 성능이 일부 개선되었으나, 여전히 최고 성능 모델조차 65% 미만의 NAR을 기록했습니다. 이는 명시적인 시간 정보가 제공되더라도 모델이 이를 효과적으로 활용하지 못함을 의미합니다.
• 시나리오 민감도: 환경이 느리게 변하든 빠르게 변하든 모델의 실패 패턴은 일관적으로 나타났습니다.

3.2 대화 길이와 추론의 영향

• 대화 길이: 대화 턴 수가 증가할수록 모델은 실제 시간 정보보다 "회전 수 (turn count)"를 기준으로 정보의 신선도를 판단하는 경향이 있어, 긴 대화일수록 정렬률이 하락했습니다.
• 추론 (Reasoning) 의 한계: CoT (Chain-of-Thought) 추론 모드를 사용하더라도 시간 인식 능력은 유의미하게 향상되지 않았습니다. 오히려 모델의 추론 과정 (Thinking) 과 최종 답변 (Answer) 사이에 불일치 (Think-Answer Mismatch) 가 발생하여 오류를 유발했습니다.

3.3 개선 방안의 효과

• 프롬프트 기반: 단순한 지시나 퓨샷 예시는 대부분의 모델에 효과가 미미했습니다. (고급 추론 모델인 o3, o4-mini 등 일부에서만 소폭 개선).
• DPO 미세 조정: TicToc 데이터로 DPO 를 적용한 결과, 모든 학습된 모델에서 정렬률이 대폭 향상되었습니다. 이는 시간 인식과 도구 사용 결정의 정렬을 위해서는 프롬프트 엔지니어링이 아닌 **타겟팅된 후속 학습 (Targeted Post-training)**이 필수적임을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 문제 제기: 다중 턴 상호작용에서 LLM 에이전트의 '시간적 맹목성'을 식별하고, 이로 인한 과도/불충분한 의존 현상을 체계적으로 규명했습니다.
2. 데이터셋 공개: 다양한 시간 민감도를 가진 76 개 시나리오, 1,800 개 이상의 궤적을 포함한 TicToc 데이터셋을 공개하여 시간 인식 평가의 표준을 제시했습니다.
3. 심층 분석 및 해결 방향: 기존 모델들의 실패 모드를 분석하고, 단순 프롬프트가 아닌 DPO 기반의 후속 학습이 시간적 정렬을 달성하는 유효한 방법임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 에이전트가 동적 현실 세계에 효과적으로 통합되기 위해서는 단순한 도구 사용 정확도뿐만 아니라 **시간의 흐름에 대한 인식 (Temporal Awareness)**이 필수적임을 강조합니다.

• 현실적 함의: 에이전트가 실시간 정보 (날씨, 주식, 예약 상태 등) 를 다룰 때, 시간적 맥락을 고려하지 못하면 신뢰할 수 없는 결과를 초래할 수 있음을 경고합니다.
• 미래 방향: 더 인간 중심적이고 시간 인식 능력이 뛰어난 에이전트를 개발하기 위해서는 시간적 정렬을 위한 전용 학습 데이터와 후속 학습 전략이 필요하다는 통찰을 제공합니다.

결론적으로, LLM 에이전트의 다음 단계 발전은 "무엇을 할 것인가 (Tool Use)"뿐만 아니라 **"언제 할 것인가 (When to Use)"**를 인간처럼 시간의 흐름에 따라 판단할 수 있도록 하는 데 달려 있습니다.