기술 요약: ForecastCompass (FOCO)

문제 정의

에이전트 기반 예측(Agentic forecasting)은 대규모 언어 모델(LLM) 에이전트가 불완전하고 시간 제한적인 증거를 바탕으로 미래 사건에 대해 보정된 확률적 예측을 수행하는 것을 포함한다. LLM 에이전트는 정보 탐색과 추론에는 뛰어나지만, 동적인 예측 환경에서는 상당한 어려움에 직면한다. 구체적으로, 에이전트는 진화하는 증거로부터 추론해야 하며, 결과가 확정되기 전에 보정된 확률을 생성해야 한다.

기존의 LLM 에이전트용 메모리 메커니즘은 주로 질의응답이나 문제 해결 작업에 설계되었다. 이러한 방식은 대개 과거의 상호작용, 성찰 또는 사실적 연관성을 저장한다. 그러나 이러한 방식은 예측에 부적합한데, 그 이유는 **재사용 가능한 예측 요인(reusable predictive factors)**이나 **보정 지식(calibration knowledge)**을 명시적으로 표현하지 못하기 때문이다. 일반적인 메모리는 특정 앱이 "강력한 브랜드 인지도"를 가지고 있다는 사실을 저장할 수는 있지만, 이 정적인 신호가 단기 순위 변동에 유익한 정보인지, 아니면 낮은 신뢰도를 가져야 하는 오도된 신호인지 구분하지 못한다. 예측에는 단순히 과거의 답변이나 사건 수준의 궤적을 검색하는 것이 아니라, 예측 요인을 추상화하고, 오도된 신호를 필터링하며, 결과가 나오기 전에 불확inc성(uncertainty)을 보정할 수 있는 메모리가 필요하다.

방법론: ForecastCompass (FOCO)

저자들은 에이전트 기반 예측을 위해 설계된 적응형 요인 기반 메모리 프레임워크인 **ForecastCompass (FOCO)**를 제안한다. FOCO는 예측 경험을 계층적 구조로 조직하며, 회고적 분석을 학습 신호로 사용하여 이를 연대순으로 업데이트한다.

1. 계층적 예측 메모리 표현

FOCO는 카테고리와 세분화된 하위 카테고리로 구성된 예측 분류 체계를 사용하여 메모리를 조직한다. 각 하위 카테고리 $s$에 대해, 시스템은 두 가지 상호 보완적인 구성 요소를 포함하는 언어적 메모리 상태 $M_s = (F_s, R_s)$를 유지한다:

• 요인 메모리 (Factor Memory, $F_s$): 재사용 가능한 예측 차원을 설명하는 엔트리들의 집합이다. 각 엔트리는 요인 이름, 구체적인 증거 확인 사항, 일반적인 실패 모드, 그리고 해당 요인이 예측 확률에 미치는 전형적인 영향을 포함한다. 이는 에이전트가 관련 증거를 식별하고 오도된 패턴을 피하도록 안내한다.
• 추론 메모리 (Reasoning Memory, $R_s$): 보정에 특화된 원칙들의 모음이다. 이 구성 요소는 다양한 증거 조건 하에서 신뢰도를 어떻게 조정해야 하는지를 인코딩하며, 불확실성, 상충하는 신호, 불완전한 정보를 처리한다. 이는 단순한 요인 선택을 넘어 확률 추정을 가이드한다.

2. 메모리 증강 추론 (Memory-Augmented Inference)

추론 과정에서 미해결 질문은 특정 하위 카테고리로 분류된다. 에이전트는 그에 대응하는 $F_s$와 $R_s$를 검색하여 프로세스를 가이드한다:

• 요인 메모리는 증거 탐색과 요인 선택을 지시하며, 예측 신호를 강조하고 오도된 패턴에 대해 경고한다.
• 추론 메모리는 증거의 강도를 확률적 예측으로 변환하기 위한 보정 원칙을 제공하여, 과잉 확신이나 과소 확신을 관리하도록 돕는다.

3. 대조 학습을 통한 반복적 메모리 수정

FOCO는 해결된 예측 과업을 사용하여 연대순으로 메모리를 업데이트한다. 업데이트 프로세스는 진단-집계-수정(diagnose–aggregate–revise) 절차를 포함한다:

1. 회고적 궤적 생성: 질문이 해결된 후, 에이전트는 사후 해결 증거를 사용하여 회고적 궤적($z^{retro}$)을 생성한다. 이는 "지면 진실(ground truth)" 학습 신호 역할을 한다.
2. 대조적 진단: 시스템은 원래의 예측 궤적($z$)과 회고적 궤적($z^{retro}$)을 대조하여 불일치($\Delta$)를 식별한다.
   • $\Delta^F$: 요인 수준의 불일치 (예: 누락된 요인, 과도하게 사용된 오도된 신호).
   • $\Delta^R$: 추론 수준의 불일치 (예: 잘못된 보정, 잘못된 확률 업데이트).
3. 집계 및 수정: 시스템은 하위 카테고리 내의 여러 이벤트에 걸쳐 이러한 불일치를 집계하여 이벤트별 사후 확신(noise)을 필터링하고 반복되는 패턴을 식별한다. 그런 다음, 이벤트별 결과나 날짜를 저장하는 것을 명시적으로 피하면서, 전이 가능한 예측 요인과 보정 원칙을 포함하도록 언어적 메모리 엔트리를 수정한다.

주요 기여

1. 요인 중심 메모리 공식화: 본 논문은 사건 수준의 궤적이나 일반적인 성찰과는 구별되는, 하위 카테고리 수준의 예측 요인과 보정 지향적 추론 패턴으로 조직된 메모리 아키텍처를 도입한다.
2. 언어화된 요인 메모리 수정: 저자들은 회고적 분석을 학습 신호로 취급하는 반복적 절차를 개발했다. 이 프로세스는 예측과 결과 사이의 불일치를 진단하고, 이를 집계하여 반복되는 패턴을 찾아내며, 이벤트별 사후 확신을 제외한 채 전이 가능한 추상화로 메모리를 수정한다.
3. 실증적 검증: 이 프레임워크는 GPT-5-mini 및 Gemini-2.5-Flash를 사용하여 동적 예측 벤치마크(Prophet Arena 및 FutureX)에서 평가되었다.

실험 결과

실험 결과, FOCO는 다양한 베이스라인과 비교하여 확률적 정확도와 보정 성능 모두를 개선함을 입증했다:

• 성능: FOCO는 두 데이터셋과 백본 모델 모두에서 일관되적으로 가장 낮은 평균 브라이어 점수(Brier scores)와 기대 보정 오차(Expected Calibration Error, ECE)를 달성했다. 이는 비메모리 베이스라인(BASE), 정적 메모리 변형(FOCO Static), 그리고 일반적인 에이전트 메모리 베이스라인(MEM0, REFLEXION, A-MEM, GRAPHITI)보다 우수한 성능이다.
• 반복적 개선: 전체 FOCO 프레임워크가 정적 버전을 능가하며, 이는 매주 진행되는 메모리 수정이 새로운 결과가 가용해짐에 따라 예측 요인과 추론 패턴을 효과적으로 정교화함을 나타낸다.
• 전이 가능성:
  • 시간 경과에 따른 전이: 초기 주차에 구축된 메모리가 이후 주차의 예측 성능을 향상시켜, 학습된 요인과 보정 원칙이 주제가 진화함에 따라 여전히 유효함을 입증했다.
  • 모델 간 전이: 한 모델(예: Gemini-2.5-Flash)로 구축된 메모리가 다른 백본(예: GPT-5-mini)의 성능을 성공적으로 향상시켰으며, 이는 포착된 지식이 특정 모델 아키텍처에 과적합되지 않았음을 시사한다.
• 메모리 품질: LLM-as-a-Judge 평가에 따르면, FOCO 메모리는 다른 메모리 방법들과 비교하여 일반화 가능성, 참신성, 완결성, 정확성 및 실행 가능성 측면에서 더 높은 점수를 받았으며, 이는 FOCO가 특정 이벤트의 세부 사항이 아닌 재사용 가능한 예측 지식을 포착하고 있음을 확인시켜 준다.

의의 및 주장

본 논문은 효과적인 예측 메모리가 과거의 상호작용이나 답변을 저장하는 수준을 넘어서야 한다고 주장한다. 대신, 증거가 비구조적이고 진화하는 오픈 월드 환경에서 에이전트를 가이드할 수 있는 재사용 가능한 예측 요인과 보정 원칙을 추상화해야 한다.

FOCO는 예측 신호와 추론 패턴을 명시적으로 분리하고, 대조적 회고 분석을 사용하여 이러한 추상화를 반복적으로 정교화함으로써 기존 에이전트 메모리 설계의 공백을 해결한다. 결과는 요인 수준의 지식과 보정 규칙을 중심으로 메모리를 조직하는 것이 에이전트로 하여금 시간이 흐름에 따라 전이 가능한 예측 전문성을 축적하게 하여, 동적인 환경에서 더 정확하고 잘 보정된 확률적 예측을 가능하게 한다는 것을 보여준다. 이 연구는 단순히 과거의 에이전트 경험을 검색하는 것만으로는 불충분하며, 메모리 구조 자체가 불확실성 하에서의 확률적 예측이라는 특정 요구 사항에 맞춰져야 함을 강조한다.