기술 요약: 대규모 언어 모델에서의 구조적이지만 제한된 시간적 이해

문제 정의

대규모 언어 모델(LLM)은 시간적 근거가 필요한 작업(예: 타임라인 구축, 시간 관련 질의응답)에서 강력한 성능을 보여주지만, 이들의 시간적 추론이 언어적 및 인지적 프레이밍에 어떻게 의존하는지는 여전히 불분명하다. 기존의 접근 방식들은 시간을 절대적인 타임스탬프나 이산적인 관계로 취급하는 경우가 많으며, 자연어로 학습된 LLM이 언어적으로 부호화된 시간적 추상화를 어떻게 상속받는지에 대해서는 설명하지 못한다. 구체적으로, 이 분야에는 LLM이 서로 다른 시간적 준거 틀(Temporal Frames of Reference, t-FoR)—경험자의 "현재"에 고정되어 과거/현재/미래를 생성하는 **직시적 프레이밍(deictic framing)**과 특정 사건에 고정되어 전/후를 생성하는 **순차적 프레이밍(sequential framing)**을 구분하는 방식에 대한 체계적인 이해가 부족하다. 또한, 시간적 거리, 구간 위상(Allen의 구간 대수), 사건의 지속 시간과 같은 구조적 요인이 LLM의 시간적 표현에 미치는 영향 역시 충분히 규명되지 않았다.

방법론

저자들은 LLM의 시간적 인지를 조사하기 위해 유사도 판단 과업을 활용한 프레임 민감형 평가 프레임워크를 제안한다.

1. 데이터셋 구축

• 출처: Wikidata에서 추출한 실제 세계의 사건들을 사용하여, 0001년부터 2100년까지의 기간을 아우르는 49,956개의 사건 데이터셋을 구축하였다.
• 익명화: 암기된 역사적 지식에 의존하는 것을 방지하기 위해, 시작 및 종료 타임스탬프는 유지하되 사건의 이름은 희귀한 동물 이름으로 대체하였다.
• 샘플링: 모든 Allen의 구간 대수(Allen's Interval Algebra) 관계를 포괄할 수 있도록 321개의 균형 잡힌 하위 집합을 선택하였다.
• 규모: 최종 데이터셋은 직시적 t-FoR에 대해 약 290만 개, 순차적 t-FoR에 대해 약 51,000개의 항목을 포함한다.

2. 실험 설계

본 연구는 두 가지 오픈 소스 LLM인 Qwen3-4B와 Qwen3-30B를 평가한다.

• 직시적 t-FoR: 참조점은 경험자와 관련된 "현재" 타임스탬프($\tau$)의 시퀀스로 생성된다. 데이터 쌍은 $(\tau, e_i)$이며, 여기서 $e_i$는 대상 사건이다.
• 순차적 t-FoR: 참조점은 특정 사건($e_j$)이다. 데이터 쌍은 $(e_i, e_j)$로, 상대적 순서를 설정한다.
• 과업: 모델은 참조 시간/사건이 대상 사건과 얼마나 유사한지를 나타내는 유사도 점수 $s \in [-1.00, 1.00]$를 출력하도록 프롬프트가 제공된다.
• 측정 지표:
  • 평균 유사도 vs. 시간적 거리: 부호가 있는 거리(일 단위)의 함수로서 분석한다.
  • 구간별 분산: Allen의 관계별로 그룹화하여 안정성을 측정한다.
  • 지속 시간 상호작작용: (거리, 지속 시간) 빈도의 히트맵을 통해 분석한다.

주요 결과

1. 시간적 준거 틀(t-FoR)에 대한 적응

LLM은 선택된 t-FoR에 따라 행동을 체계적으로 조정하지만, 그 결과 나타나는 패턴은 크게 다르다:

• 직시적 t-FoR: 유사도 점수는 현재를 중심으로 단계적이고 비대칭적인 구조를 형성한다.
  • 미래: 점수가 급격히 떨어지며 낮은 분산과 함께 -1.00으로 수렴하는데, 이는 압축되고 균일한 표현을 나타낸다.
  • 과거: 점수가 더 완만하게 감소하며 상당히 높은 분산을 보이는데, 이는 과거 사건에 대해 더 풍부하지만 덜 안정적인 표현을 시사한다.
• 순차적 t-FoR: 유사도 점수는 강한 양극화를 보인다. 사건들이 시간적으로 분리되면(거리가 0이 아니면), 점수는 빠르게 강력한 음수 값으로 붕괴된다. 분산은 오직 거리 0 근처(여러 구간 관계인 중첩이나 만남이 공존하는 지점)에 집중된다.

2. 구간 구조의 영향 (Allen의 대수)

• 안정적인 관계: 엄격하게 순서가 정해진 관계(전, 후) 및 경계가 일치하는 관계(만남, ~에 의해 만남, 같음)는 일관되고 양극화된 점수를 생성한다.
• 불안정한 관계: 중첩(Overlap) 및 포함(Containment) 관계(예: 중첩됨, 동안, 포함함)는 현저히 높은 분산을 보인다. 이는 LLM이 구조적으로 모호한 시간적 위상, 특히 순차적 프레임에서의 위상 관계를 다루는 데 어려움을 겪고 있음을 나타낸다.

3. 지속 시간과 시간적 거리의 상호작용

• 직시적 t-FoR (과거 한정): 과거 사건에 대해 뚜렷한 지속 시간 효과가 관찰된다. 장기간 지속되는 과거 사건은 동일한 거리의 단기 사건보다 더 높은 유사도 점수를 받는다. 어떤 경우에는 멀리 떨어진 장기 지속 사건이 가까운 단기 지속 사건보다 더 유사하다고 평가되기도 한다.
• 지속 시간 효과 없음: 이러한 조절 현상은 직시적 프레임의 미래 사건에서는 나타나지 않으며, 순차적 t-FoR에서도 나타나지 않는다. 순차적 프레임에서는 지속 시간과 상관없이 유사도가 양극화된 상태를 유지한다.

핵심 기여

1. 프레임 민감형 평가 프레임워크: 단순한 사실적 정확성을 넘어, 실제 세계의 사건에 대한 유사도 판단을 통해 직시적 및 순차적 t-FoR를 대조하는 벤치마크를 도입하였다.
2. 대규모 시간 데이터셋: 구간 구조와 지속 시간을 보존하는 Wikidata 유래 데이터셋을 생성하여, 시간적 거리, Allen의 대수, 지속 시간을 대규모로 체계적으로 분석할 수 있게 하였다.
3. 시간적 행동의 경험적 특성화: LLM의 시간적 이해가 프레임에 의존적이며 구조적 요인에 의해 형성된다는 증거를 제공하였으며, 특히 다음을 식별하였다:
   • 직시적 프레이밍 하에서의 과거-미래 비대칭성.
   • 순차적 프레이밍 하에서의 급격한 유사도 붕의.
   • 중첩 기반 관계에서의 높은 불안정성.
   • 직시적 앵커링 하의 과거 사건에 국한된 지속 시간 효과.

의의 및 주장

본 논문은 LLM이 구조적이면서도 제한된 형태의 시간적 이해를 갖추고 있다고 주장한다.

• 구조적: LLM은 시간을 무작위로 처리하지 않는다. 이들은 서로 다른 참조 구조(직시적 vs. 순차적)에 일관되게 적응하며, 구간 기하학 및 지속 시간에 민감하게 반응한다.
• 제한적: 이러한 이해는 전역적이고 명시적인 시간 척도가 아니다. 이는 자연어에 인코딩된 언어적 및 인지적 규칙성에 의해 제약을 받는다.
  • 표현은 미래보다 과거에 더 풍부하다.
  • 표현은 중첩되는 구간보다 명확하게 순서가 정해진 관계에서 더 안정적이다.
  • 과거-미래 비대칭성과 선택적 지속 시간 효과는 LLM이 대칭적이고 객관적인 시간 감각이 아니라, 관점적인(perspectival) 시간 감각을 가지고 있음을 시사한다. 즉, "경험자" 또는 특정 사건에 앵커링되어 있다.

저자들은 LLM의 시간적 이해가 명시적인 시간 추론 메커니즘보다는 언어적으로 습득된 규칙성에 의해 형성될 가능성이 높다고 결론짓는다. 이는 프레임에 적응하면서도 하나의 단일한 전역적 척도로 붕괴되지 않는, 단계적이고 맥락에 앵커링된 유사도 공간으로 나타난다.

한계점

본 연구는 현재 영어 텍텍스트로 제한되어 있다. t-FoR 분류 체계는 이전 연구를 보완하기 위해 Evans (2013)를 따랐으나, 어떤 분류 체계가 사건 관계를 가장 잘 설명하는지에 대해서는 보편적인 합의가 없다는 점을 논문에서 인정하고 있다.