🤖 AI

Trajectory-Aware Retrieval Agents for Temporal Decision- Making

이 논문은 의료 진단 및 금융 예측과 같이 시간적 근거가 필요한 의사 결정 작업에서 표준적인 검색 증강 접근 방식보다 성능을 크게 향상시키기 위해, 시간적 구조를 보존하고 증거를 반복적으로 정교화하는 과정에서 검색된 임베딩에 대한 잠재 성장 곡선 모델을 활용하는 폐쇄 루프 에이전트 프레임워크인 TLM을 소개한다.

원저자: Jing Wang, Jie Shen, Xing Niu

게시일 2026-07-27

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jing Wang, Jie Shen, Xing Niu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려고 노력 중이라고 상상해 보세요. 하지만 단 하나의 단서가 아니라, 한 형사가 수년에 걸쳐 작성한 거대하고 혼란스러운 메모 더미를 가지고 있습니다. 어떤 메모는 사건의 시작을 설명하고, 어떤 것은 중간을, 또 어떤 것은 아주 끝을 설명합니다. 만약 당신이 무작위로 메모 한 줌을 집어 들어 초지능 로봇에게 미스터리를 풀어보라고 한다면, 로봇은 혼란에 빠질 것입니다. 로봇은 1990년의 단서와 2024년의 단서를 뒤섞거나, 용의자의 행동이 시간이 흐름에 따라 서서히 변했다는 사실을 놓칠 수도 있습니다. 이것이 바로 과학자들이 의료 기록이나 주식 시장 보고서와 같은 긴 이야기를 바탕으로 결정을 내리기 위해 인공지능(AI)을 사용하려 할 때 직면하는 문제입니다. AI는 글을 읽는 데는 뛰어나지만, '언제' 그런 일이 일어났는지는 자주 잊어버립니다.

이를 해결하기 위해 연구자들은 '에이전트', 즉 생각하고, 정보를 찾고, 결정할 수 있는 AI 시스템을 구축하고 있습니다. 그들이 사용하는 흔한 도구 중 하나는 '검색 증강 생성(RAG)'이라 불리는 것입니다. RAG를 질문에 맞는 책을 찾아 서가로 달려가 책을 가져온 뒤 AI에게 건네주는 사서라고 생각해 보세요. 문제는 일반적인 사서들은 단어의 의미가 담긴 '시간적 흐로'는 무시한 채, 단순히 비슷하게 들리는 책들을 집어 온다는 점입니다. 그들은 소설 속 주인공이 사랑에 빠지기 전의 페이지를 먼저 건네줄 수도 있습니다. 이 논문은 AI가 단순히 단어를 이해하는 것을 넘어 '이야기'를 이해하도록 돕는 새로운 방법을 소개합니다. 이 방법은 정보를 영화 필름처럼 취급하여, 플롯이 어떻게 진행되는지 관찰하고, 갑작스러운 반전을 포착하며, 누락된 장면을 채워 넣어 미래에 대한 더 나은 예측을 수행합니다.

"궤적(Trajectory)" 탐정의 이야기

이 논문의 저자인 왕징(Jing Wang), 셰엔지에(Jie Shen), 류싱(Xing Niu)은 기존의 AI 도구들이 시간을 다루는 데 매우 서투르다는 점에 주목했습니다. 만약 당신이 일반적인 AI에게 환자의 병력이나 기업의 실적 발표를 바탕으로 다음에 무슨 일이 일어날지 예측하라고 요청한다면, AI는 정보를 마치 구슬 주머니처럼 취급하곤 합니다. AI는 '중요한' 구슬(문장)을 골라내기는 하지만, 그 구슬들을 어떤 순서로 집어 들었는지는 무시합니다. 현실 세계에서는 시간이 중요합니다. 환자의 체온이 3일 동안 서서히 오르는 것과, 열이 치솟았다가 뚝 떨어지는 것은 전혀 다른 이야기입니다. CEO의 말투가 자신감 넘치는 태도에서 불안한 태도로 변하는 것은 매우 중요한 단서이지만, 문장을 순서 없이 읽기만 한다면 이 단서는 사라져 버립니다.

이를 해결하기 위해 연구팀은 TLM(Trajectory Language Model, 궤적 언어 모델)이라는 새로운 시스템을 구축했습니다. TLM을 사건 파일의 내용을 단순히 읽는 것이 아니라, 사건의 '영화'를 관람하는 탐정이라고 생각하면 됩니다.

1단계: 스마트한 검색
먼저, TLM은 하이브리드 사서 역할을 합니다. TLM은 두 가지 방식으로 단서를 찾습니다. 하나는 특정 이름을 찾는 것과 같은 정확한 단어 일치를 찾는 방식이고, 다른 하나는 단어의 '분위기'나 의미를 찾는 방식입니다. 우선 문서에서 몇 개의 초기 페이지를 가져와 시작합니다.

2단계: 성장 곡선 ("영화 필름" 기법)
이것이 이 논문의 핵심적인 마법입니다. 단순히 페이지를 읽는 대신, TLM은 이야기의 '형태'를 봅니다. TLM은 **잠재 성장 곡선 모델(Latent Growth Curve Model, LGCM)**이라는 수학적 도구를 사용합니다. 당신이 식물이 자라는 모습을 관찰한다고 상상해 보세요. 당신은 화요일의 식물과 금요일의 식물만을 보는 것이 아니라, 그 둘을 잇는 '선'을 봅니다. 식물이 꾸준히 자라고 있나요? 시들고 있나요? 아니면 갑자기 성장이 멈췄나요?
TLM은 텍스트를 가지고 이 작업을 수행합니다. 문장들을 그래프 위의 선으로 변환합니다.

추세(Trend): 이야기가 좋아지고 있나요, 나빠지고 있나요, 아니면 그대로인가요?
변곡점(Turning Points): 이야기가 갑자기 방향을 틀었나요? (예: 상태가 호전되었다가 다시 악화되는 환자처럼)
공백(Gaps): 이야기가 중간에 끊겼나요? (예: 일기장에서 하루가 빠진 것처럼)
만약 TLM이 이야기의 '공백'을 발견하면, 도서관으로 돌아가서 그 구멍을 채울 누락된 페이지들을 찾아냅니다.

3단계: "SHAP" 성적표
일단 TLM이 단서 더미를 확보하면, 어떤 단서가 가장 중요한지 결정해야 합니다. TLM은 모든 문장이 퍼즐을 푸는 데 얼마나 기여했는지 점수를 매기는 게임과 같은 SHAP 방식을 사용합니다. TLM은 이 계산을 빠르게 수행하기 위해 작고 빠른 '채점용' 로봇을 사용합니다. 만약 어떤 문장이 매우 중요하다면, TLM은 사서에게 그와 관련된 더 많은 단서를 요청합니다. 결정적으로, TLM은 이미 찾은 단서를 절대 버리지 않고 오직 새로운 단서만을 추가합니다. 이는 이야기가 점점 풍성해지기만 할 뿐, 결코 빈약해지지 않도록 보장합니다.

4단계: 최종 결정
마지막으로, TLM은 이렇게 정리되고 시간 개념이 반영된 이야기를 거대 언어 모델(LLM)이라는 거대한 AI 뇌에 전달하여 최종 결정을 내립니다. 이제 이야기가 순서대로 정렬되고 완결되었기 때문에, AI는 훨씬 더 똑똑한 추측을 할 수 있습니다.

연구 결과

연구팀은 이 새로운 탐정을 세 가지 매우 다른 유형의 미스터리에 테스트했습니다.

의료 질문: 환자의 병력을 바탕으로 어려운 의료 질문에 답하도록 했습니다. 일반적인 AI(TLM 없이)는 약 **34.6%**의 정답률을 보였습니다. 새로운 TLM 시스템은 **64.2%**를 맞혔습니다. 이는 거의 두 배에 가까운 성공률입니다. 논문은 의료 이야기가 환자가 시간에 따라 어떻게 변하는지에 관한 것이며, TLM만이 그 패턴을 포착했기 때문이라고 설명합니다.
실적 발표: CEO의 연설 이후 기업의 주가가 오를지 내릴지를 예측하는 실험을 했습니다. 주식 시장은 매우 영리하고 즉각적으로 반응하기 때문에 이는 매우 어려운 작업입니다. 일반적인 AI는 추측하는 것보다 조금 나은 수준(약 50.7%)이었습니다. TLM은 이를 **58.0%**로 개선했습니다. 수치상으로는 큰 폭의 상승이 아닌 것처럼 보일 수 있지만, 금융 세계에서 시장을 아주 조금이라도 이기는 것은 매우 큰 의미가 있습니다.
주가 공백: 다음 날 아침 주가가 급등할지 급락할지를 예측했습니다. $10,000로 시작하는 가상의 트레이딩 게임을 시뮬레이션했습니다. 일반적인 AI는 $12,067를 벌어들였으나, 트렌드를 더 잘 포착한 TLM은 돈을 $20,400까지 불렸습니다.

요약

이 논문은 AI에게 이야기의 '모양'을 이해하는 능력을 부여했을 때, AI가 훨씬 더 뛰어난 탐정이 된다는 것을 보여줍니다. 수학을 사용하여 추세를 추적하고 누락된 조각을 채움으로써, TLM은 단순히 단어를 읽는 것이 아니라 여정(journey)을 이해합니다. 저자들은 이것이 모든 것을 해결하는 마법 지팡이는 아니라고 신중하게 밝히고 있습니다. 이 모델은 정보에 명확한 타임라인이 있을 때 가장 잘 작동하며, 여전히 실제 환경에서의 더 많은 테스트가 필요합니다. 하지만 현재로서, TLM은 미래에 대한 올바른 결정을 내리고 싶다면 과거를 순서대로 바라보는 법을 가르쳐야 한다는 것을 입증하고 있습니다.

기술 요약: 시계열적 의사결정을 위한 궤적 인식 검색 에이전트 (Trajectory-Aware Retrieval Agents)

문제 정의

본 논문은 시계열적으로 구조화된 장문 텍스트(예: 임상 기록, 실적 발표 컨퍼리언스 콜, 주식 시장 데이터)를 다루는 고위험 의사결정 작업에 적용될 때 발생하는 표준 검색 증강 생성(RAG) 파이프라인의 한계를 다룹니다.

표준 RAG 방식은 오로지 의미론적 유사성에 기반하여 텍스트 청크를 검색하므로, 연대기적 맥락을 순서가 없는 "텍스트 가방(bag of text)" 형태로 파편화합니다. 이러한 구조적 손실은 결정적인 문제입니다. 많은 의사결정 문제는 정보의 궤적(trajectory), 즉 환자의 증상 악화, CEO의 가이드라인 변화, 또는 연속적인 주가 의존성과 같은 흐름에 의존하기 때문입니다. 궤적 정보를 무시하면 모순된 증거에 근거하게 되거나 중요한 전환점을 놓칠 위험이 있습니다. 또한, 표준 자기회귀 LLM은 이산적인 레이블 출력을 강제할 경우 높은 분산과 프롬프트 형식에 대한 민감도를 보이는 토큰 시퀀스를 생성하는 경 triển을 보입니다.

방법론: TLM (Trajectory Language Model)

저자들은 클래식한 통계적 방법을 RAG 파이프라인에 통합하여 검색된 증거의 잠재적 궤적을 모델링하는 폐쇄 루프 에이전트 프레임워크인 TLM을 제안합니다. 이 프레임워크는 다음 5단계로 작동합니다:

하이브리드 검색 (Hybrid Retrieval): 소스 문서는 중첩된 청크로 분할됩니다. 초기 검색은 희소 렉시컬 매칭(BM25)과 사전 학습된 문장 인코더를 통한 밀집 의미 유사성을 결합한 하이브리드 접근 방식을 사용하여 초기 증거 집합 $Z^{(0)}$ 를 형성합니다.
잠재 성장 곡선 모델링 (Latent Growth Curve Modeling, LGCM): 정렬된 검색 청크들은 진화하는 잠재 상태의 관측치로 취급됩니다. 이 청크들의 임베딩은 선형 LGCM ( $e_i = \mu + \beta t_i + \epsilon_i$ $e_{i} = μ + β t_{i} + ϵ_{i}$ )에 적합됩니다. 여기서 $\mu$ $μ$ 는 기저 상태를, $\beta$ $β$ 는 변화율을 나타냅니다. 이 분해를 통해 세 가지 실행 가능한 신호를 얻습니다:
- 추세 분류 (Trend Classification): 궤적을 안정, 진행, 또는 방향 전환으로 분류합니다.
- 전환점 탐지 (Turning Point Detection): 잔차가 평균을 초과하는 청크를 예상 궤적에서의 이탈로 식별합니다.
- 간극 탐지 (Gap Detection): 연속적인 임베딩 간의 급격한 차이를 식별하여 누락된 중간 정보에 대한 표적 재검색을 트리거합니다.
학습된 재순위화 및 검색 (Learned Re-Ranking and Retrieval): 경량 어텐션 기반 스코어러 $g_\theta$ 가 LLM과 함께 공동 학습됩니다. 이는 중요도에 따라 청크를 재순위화하고, 원래 쿼리와 렉시컬로 일치하지 않더라도 진단적으로 유의미한 추가 증거를 검색하기 위해 "학습된 쿼리"(상위 점수 청크의 평균 임베딩)를 구성합니다.
LLM 분류 (LLM Classification): 최종 증거 집합(재순위화된 청크, LGCM 요약, 쿼리, 옵션)이 인과적(causal) LLM에 전달됩니다. 모델은 다음 토큰 로짓(next-token logits)을 사용하여 답변 옵션의 점수를 매겨 이산적 분류를 수행합니다.
SHAP 가이드 반복 정교화 (SHAP-Guided Iterative Refinement): 초기 예측 후, 시스템은 경량 스코러를 통해 효율적으로 계산된 섀플리 값(Shapley values)의 leave-one-out 근사를 사용하여 각 청크의 기여도를 추정합니다. 양(+)의 기여를 하는 청크들은 새로운 쿼리를 생성하는 시드로 사용되어 추가 증거를 검색합니다. 결정적으로, 이 정교화 과정은 가산적(additive)으로만 이루어집니다. 즉, 이전에 검색된 청크는 절대 버려지지 않습니다.

저자들은 스코어러 교정 가정 하에서 이 가산적 정교화 절차가 정답 레이블에 할당된 확률을 단조 증가시킨다는 이론적 명제를 제공합니다.

주요 기여

RAG를 위한 잠재 성장 곡선 모델링: 본 논문은 RAG 증거 궤적에 LGCM을 적용한 첫 사례를 소개합니다. 이는 증거를 기저, 추세, 잔차로 원칙 있게 분해하여 추세, 전환점 및 정보 간극을 탐지할 수 있게 합니다.
결합된 LLM-스코어러 아키텍처: 저자들은 효율적인 SHAP 값 추정을 위해 LLM과 공동 학습되는 경량 스코어러를 제안합니다. 이는 비용이 많이 드는 LLM 순전파(forward pass)를 저렴한 스코어러 패스로 대체하여 반복적인 증거 정교화를 실용적으로 만듭니다.
다양한 도메인에 걸친 경험적 검증: 프레임워크는 세 가지 서로 다른 시계열 의사결정 작업(의료 질의응답, 실적 발표 서프라이즈 예측, 익일 주가 갭 예측)에 대해 평가되었습니다.

실험 결과

TLM 프레임워크는 Qwen3-14B 백본과 BAAI/bge-large-en-v1.5 임베딩을 사용하여 세 가지 데이터셋에 대해 평가되었습니다:

의료 질의응답 (MedQA): TLM은 **64.2%**의 정확도를 달성하여, 제로샷 LLM 베이스라인(34.6%)과 임베딩 전용 분류기(15.3%)를 크게 상회했습니다. 이는 임상적 추론을 위해 시계열적으로 구조화된 증거에 대한 멀티 홉 추론이 필수적임을 입증합니다.
실적 발표 서프라이즈 예측: 시장 반응을 예측하는 이진 분류 작업에서 TLM은 **58.0%**의 정확도를 달성했습니다. 이는 제로샷 LLM(50.7%)과 무작위 확률을 겨우 넘어서는 수준인 표준 검색 베이스라인을 능가하며, 효율적 시장 가설로 인한 해당 작업의 난이도를 보여줍니다.
익일 주가 갭 예측: 트레이딩 전략으로 시뮬레이션된 3-way 분류 작업(Buy/Hold/Sell)에서 TLM은 제로샷 베이스라인의 27.5% 대비 **38.3%의 정확도를 기록했습니다. 경제적 영향 측면에서, TLM은 시뮬레이션 포트폴리오를 $10,000에서 **$ 20,400로 성장시킨 반면, 베이스라인은 $12,067에 그쳤습니다.

의의 및 주장

본 논문은 TLM이 종단적 데이터 분석을 위한 통계적 방법론과 현대적 LLM 에이전트 사이의 간극을 메운다고 주장합니다. 검색된 증거를 순서 없는 집합이 아닌 시간적 궤적으로 취급함으로써, 프레임워크는 에이전트가 정적인 사실이 아닌 추세와 전환에 대해 추론할 수 있게 합니다.

저자들은 금융 작업에서의 이득이 백분율상으로는 완만해 보일 수 있으나, 시장 반응을 예측하는 난이도를 고려할 때 이는 경제적으로 유의미하다는 점을 강조합니다. 이 접근법은 정보의 연대기적 순서와 진화가 올바른 결과에 결정적인 영향을 미치는 모든 도메인에서 의사결정을 개선할 수 있는 일반화 가능한 방법론으로 제시됩니다. 본 연구는 모든 시계열 추론 문제를 해결한다고 주장하는 것이 아니라, 표준 RAG 파이프라인의 구조적 손실을 완화하기 위한 구체적인 메커니즘(LGCM + SHAP 정교화)을 제공하는 데 목적이 있습니다.