CFOs Meet LLMs

기술 요약: "CFOs Meet LLMs" (CFO와 LLM의 만남)

문제 제기
비즈니스 심리, 특히 경영진의 기대치는 중요한 경제적 신호이다. 그러나 설문조사(예: Duke–Federal Reserve CFO Survey)를 통한 전통적인 측정 방식은 상당한 한계에 직면해 있다. 이러한 방식은 비용이 많이 들고, 주기적(분기별)이며, 횡단적 커버리지(수백 개의 기업 수준)가 낮고, 선택 편향(selection bias)이 발생하기 쉽다. 또한, 이러한 설문조사는 가치 있는 선행 데이터를 제공함에도 불구하고, 수집 속도가 느리고 빈도가 제한적이다. 저자들은 비용, 지연, 또는 편향 없이 신뢰할 수 있고 확장 가능하며 고빈도인 CFO 스타일의 기대치를 생성하는 것이 가능한지 질문을 던진다.

방법론
저자들은 대규모 언어 모델(LL $\text{M}$), 구체적으로 GPT-5.4(OpenAI, 2026)를 사용하여 "합성 CFO 기대치(synthetic CFO expectations)"를 생성하는 방법을 제안한다. 핵심 접근법은 LLM에게 특정 시점의 특정 상장 기업의 특정 CFO 역할을 수행하도록 하는 "역할 놀이(role-playing)"이다.

1. 프롬프트 구성:

   • 시스템 프롬프트(System Prompt): 금융 임원의 페르소나를 설정하고, 실제 설문 날짜와 일치하는 엄격한 **정보 차단(information cutoff)**을 적용한다. 모델은 룩어헤드 편향(look-ahead bias)을 방지하기 위해, 해당 날짜 이전에 웹 검색으로 확인 가능한 공개 데이터(수익 보고서, 애널리스트 분석 등)를 포함하여 해당 시점까지 사용 가능한 정보만을 사용하도록 지시받는다.
   • 사용자 프롬프트(User Prompt): 상세한 기업-임원 프로필(산업, 매출, 인원수, 지리적 위치, 신용 등급 등)과 결정적으로 응답자 본인의 이력을 제공한다. 여기에는 이전 설문 조사 단계에서의 CFO의 과거 낙관도 점수(엄격히 차단 시점 이전의 데이터)와 해당 개인에 대한 모델 자신의 이전 예측치가 포함된다.
   • 과업(Task): 모델은 전형적인 Duke CFO Survey 질문을 모방하여 미국 경제 전반에 대한 자신의 낙관도를 0~100 척도로 평가하도록 요청받는다.

2. 데이터 및 검증:

   • 본 연구는 2002년부터 2025년 사이의 상장 기업으로부터 얻은 6,075개의 설문 응답을 다룬다.
   • 각 인간의 응답에 대해, 저자들은 세 개의 독립적인 LLM 예측을 생성하고 이를 평균하여 확률적 노이즈(stochastic noise)를 완화한다.
   • 안정성(Stability): 저자들은 LLM 출력의 분산이 반복 호출 간의 확률적 노이즈가 아니라, 설문 관측치 간의 차이에 의해 발생함을 확인한다(쌍별 상관관계 ~0.96).
   • 외부 표본 특성(Out-of-Sample Nature): 특정 인간 설문 응답은 (학습 데이터에서 제외하기 위한 기관 협약 덕분에) 모델의 학습 코퍼스에 포함되지 않았으며, 따라서 예측값은 대상 변수에 대해 진정한 외부 표본(out-of-sample)임을 보장한다.

주요 결과

1. 개인 수준의 예측력:

   • LLM이 생성한 낙관도 점수는 실제 CFO의 응답을 예측하는 유의미한 변수이다. 인간의 낙관도를 매칭된 LLM 점수에 대해 회귀 분석했을 때, 계수는 매우 유의미하다(기초 모델에서 t-통계량 > 17).
   • 이 관계는 기업 고정 효과(기업 내 시간적 변화 추적)와 연도-분기 고정 효과(분기 내 횡단적 변화 추적)를 포함시킨 후에도 생존한다.
   • 결정적으로, LLM 점수는 응답자의 가장 최근 이전 답변을 통제한 상태에서도 유의미하게 유지되는데, 이는 모델이 단순히 마지막 응답을 그대로 따라 하는 것이 아니라 추가적인 예측 정보를 포착하고 있음을 입증한다.

2. 조건부 정보의 역할 (용량-반응 관계):

   • 예측 정확도는 제공된 정보의 양에 따라 양의 관계로 증가한다.
   • 응답자 이력: 이전 응답 데이터가 없을 때 모델의 $R^2$는 약 0.10이다. 몇 개의 이전 데이터 포인트가 있으면 약 0.33으로 상승하며, 세 개 이상의 이전 응답이 있으면 약 0.50에 도달한다.
   • 기업 특성: 전체 기업 프로필 필드(10~12개 특성)를 포함한 프롬프트는 희소한 프롬프트($R^2 \approx 0.21$)보다 더 나은 예측 성능($R^2 \approx 0.32$)을 보인다.
   • 이력에 기반한 조건화(conditioning)는 횡단적 이질성을 회복시킨다. 이 정보가 없으면 지시 미세 조정(instruction-tuned) 모델은 최빈 의견으로 수렴하여 합성 점수의 분포를 압축하는 경향이 있다.

3. 집계 및 강건성:

   • 분기별 집계 수준에서, 평균 LLM 낙관도는 평균 CFO 낙관도의 강력한 예측 인자로 남는다.
   • 미시간 소비자 심리지수(Michigan Consumer Sentiment Index) 및 전문 예측가 조사(SPF)의 GDP 예측치를 포함한 "경마(horse race)" 회귀 분석에서, LLM 점수는 유의미한 설명력을 유지하는 반면 인간 벤치마크들은 유의성을 잃는다. 이는 LLM이 표준 거시 지표가 놓치는 경영진 심리의 변동성을 포착하고 있음을 시사한다.

의의 및 주장
본 논문은 LLM이 시뮬레이션한 설문 응답에 대한 최초의 **개인 수준, 기업 내 검증(within-firm validation)**을 제공한다고 주장한다. 합성 인구의 분포를 실제 인구와 일치시키는 데 집중했던 기존 연구들과 달리, 본 연구는 LLM이 공개된 발자취와 개인적 기록을 바탕으로 특정 인간 임원의 구체적인 응답을 근사할 수 있음을 보여준다.

저자들은 적절한 조건화가 이루어진다면, LLM이 경영진의 신뢰할 수 있는 "디지털 트윈(digital twins)" 역할을 할 수 있다고 주장한다. 이는 다음과 같은 측면에서 금융 연구와 정책에 새로운 도구를 제공한다:

• 확장성(Scalability): 설문 참여 기업뿐만 아니라 모든 상장 기업에 대한 심리 데이터를 생성할 수 있는 능력.
• 빈도(Frequency): 전통적인 설문의 분기별 제약을 우회하여 일간 또는 주간 단위의 심리 업데이트를 생성할 가능성.
• 반사실적 분석(Counterfactuals): 다른 요인은 고정한 채 기업 특성(예: 해외 매출 노출도)을 변화시키며 "합성 설문 실험"을 수행할 수 있는 능력.

저자들은 LLM이 인간 CFO가 보유한 사적인 정보(예: 대기 중인 주문, 내부 비용 압박)를 복구할 수는 없다는 점을 인정하며 겸허한 태도를 유지한다. 따라서 이들은 LLM을 인간 설문의 대체재가 아닌 보완재로 규정한다. 또한, 데이터가 없는 첫 응답자의 경우 예측 정확도가 낮아지며, 모델의 "신념"은 여전히 학습 데이터의 규칙성에 묶여 있다는 점을 언급한다.