The CRISTAL Method: Neurosymbolic analysis from AI-synthesized world models

기술 요약: CRISTAL 방법론

문제 제Statement
본 논문은 고도의 전문성을 요구하는 투자 분석에 대규모 언어 모델(LLM)을 적용할 때 발생하는 중대한 한계점을 식별한다. LLM은 분석 보조 도구로서 유망한 가능성을 보여주지만, 이 분야에서 다음과 같은 세 가지 결정적인 결함을 겪는다:

1. 취약한 수치 추론 능력: LLM은 정밀한 양적 계산과 복잡한 수학적 추론에 어려움을 겪으며, 이는 종종 부정확한 결과로 이어진다.
2. 신뢰할 수 없는 불확실성 정량화: LLM은 확신에 찬 어조로 틀린 답변을 생성하는 현상("환각")을 자주 보이며, 리스크 평가에 필수적인 출력값의 불확실성을 정확하게 표현하지 못한다.
3. 재현성 부족: LLM의 확률적 특성은 동일한 입력에 대해 일관되지 않은 출력을 생성하여, 재현 가능한 의사결정에 필요한 검증과 신뢰를 저해한다.

나아가, 본 논문은 패턴 인식에 의존하는 순수 딥러닝 접근 방식이 분포 변화(distributional shifts) 하에서도 견고한 성능을 발휘하는 데 필요한 '근사적으로 올바른 인과적 세계 모델(causal world models)'을 학습하는 데 실패할 수 있다고 주장한다. 투자 분석은 높은 구조적 불확실성, 노이즈가 많은 데이터, 그리고 정당화되고 재현 가능한 근거를 필요로 하는 환경을 특징으로 하며, 이러한 환경에서는 인간의 인지적 편향과 LLM의 한계가 결과에 상당한 영향을 미친다.

방법론: CRISTAL 프레임워크
저자들은 복잡한 분석 워크플로우를 자동화하기 위해 설계된 뉴로심볼릭(neurosymbolic) 프레임워크인 CRISTAL 방법론(Coherent Reliable Intentional Synthesis of Truthful Analysis Logic)을 제안한다. 전통적인 머신러 लर्निंग이나 순수 LLM 접근 방식과 달리, CRISTAL은 완전한 베이지안 추론을 가능하게 하는 동적이고 해석 가능한 확률적 프로그램(즉, "세계 모델")을 구축한다.

이 방법론의 핵심 구성 요소는 다음과 같다:

• 뉴로심볼릭 통합: 시스템은 인과적 베이지안 추론과 LLM의 능력을 통합한다. 여기서 LLM은 세계 모델을 직접 학습하는 주체가 아니라, 코드 합성과 학습을 위한 "의미 구조의 샘플러(samplers of meaning constructions)"로 사용된다.
• 세계 모델 구축: CodeGen이라 불리는 모듈은 LLM 액터-크리틱(actor-critic) 검증 루프를 사용하여 확률적 세계 모델을 자동으로 구축하고 정교화한다. 이 모델들은 반드시 크리틱(critic) LLM의 검증과 지정된 테스트 케이스를 통과해야 한다.
• 사전 지식 커리큘럼: 시스템은 자연어 형태의 사전 지식 커리큘럼(예: 역사적 사례 연구, 전문가 프레임워크)에서 시작하여 초기 사전 세계 모델(prior world model)을 합성한다.
• 능동적 및 지속적 학습: CRISTAL은 자원 예산 인식 전략을 채택한다. 추출 전 기대 베이즈 인자 유용성(expected Bayes factor utility)에 따라 지표의 순위를 매긴다. 먼저 양적(hard) 지표를 처리하고(LLM 추출 비용이 발생하지 않으므로), 그 후 남은 컴퓨팅 예산에 따라 선택적으로 질적(soft) 지표를 처리한다. 모델 파라미터는 새로운 데이터가 발견됨에 따라 지속적으로 업데이트된다.
• 베이지안 추론: 시스템은 자산 범주 확률을 정교화하기 위해 불확실성 정량화 및 모델 선택을 포함한 엄격한 베이지안 추론을 적용한다. 범주형 모델을 위해 디리클레 사전 분포(Dirichlet prior)를 사용한다.

벤치마크 및 실험 설정
접근 방식의 타당성을 검증하기 위해 저자들은 200개의 합성 주식으로 구성된 새로운 벤치마크를 제작하였다.

• 데이터 생성: 자산은 세 가지 궤적(고성장 30%, 안정 50%, 시한폭탄 20%)으로 분류된다.
• 지표: 데이터셋에는 "hard" 양적 지표(베타 및 로그-노멀 분포와 같은 통계적 분포를 통해 생성됨)와 LLM 생성 보고서에서 추출된 "soft" 질적 지표가 포함된다.
• 질적 지표 추출 (SIE): LLM이 보고서로부터 질적 지표(빨강, 노랑, 초록으로 색상 구분)를 추출한다. 연구에서는 생성 및 추출을 위해 다양한 모델(예: DeepSeek-r1, Llama3)을 평가하였으며, 생성에는 Llama3:70b를, 추출에는 Llama3.1:8b를 선택하여 평균 추출 정확도 94.6%를 달성하였다.
• 과업: 주요 과업은 엄격한 자원 제약(시간 및 컴퓨팅 예산) 하에서의 기업 분류(자산 범주 예측)이다.

주요 결과
본 논문은 여러 조건에서 CRISTAL을 최첨단 LLM 분석가들(GPT-4o, DeepSeek-R1, Llama3, Mistral 변형 모델 포함)과 비교한다:

1. 베이즈 최적 성능 (Bayes-Optimal Performance): 참값인 우도 행렬(likelihood matrix)이 제공되었을 때, CRISTAL은 분류 과업에서 88%의 정확도(MCC: 0.80)를 달 기록하며 베이즈 최적 성능에 근접했다. 반면, 가장 성능이 좋은 LLM(Llama3:70b)은 35%의 정확도(MCC: 0.00)만을 기록하며 무작위 추측 수준의 성능을 보였다.
2. 퓨샷 학습 효율성 (Few-Shot Learning Efficiency): 우도 행렬이 $n$-샷 예시로부터 추론되는 실험에서:
   • CRISTAL은 단 1개의 관측치만으로 60% 정확도에 도달했으며, 5개의 예시를 통해 (참값의 구성과 일치하는) 최적 성능에 근접했다.
   • LLM은 예시의 수가 증가하더라도($n=1$에서 $n=80$까지) 유의미한 성능 향상을 보이지 못했으며, 특정 모델의 미세한 이상치를 제외하고는 차측 수준(MCC $\approx$ 0)에 머물렀다.
3. 편향에 대한 강건성: 자산 레이블을 뒤바꿔 학습 데이터의 편향을 테스트한 "역직관적 세계(counterintuitive world)" 실험에서, LLM은 훈련 데이터 편향을 유지하며 적응에 실패하여 차측 수준의 성능을 보였다. 반면, 제공된 관측치로부터 직접 우도 행렬을 학습하는 CRISTAL은 성능을 유지하였다.
4. 자원 효율성: CRISTAL은 과업당 단 5초의 의사결정 예산으로 결과를 도출했으나, LLM은 더 큰 예산(20초)을 할당받았음에도 CRISTAL의 정확도를 따라잡지 못했다.

의의 및 주장
본 논문은 원칙 있는 세계 모델링과 능동적 및 지속적 학습의 결합이 효율성, 정확성 및 강건성 측면에서 인간 분석가와 단독 LLM을 모두 능가할 수 있음을 입증함으로써, 불확실성 하에서의 지능적 의사결정에 대한 새로운 벤치마크를 설정한다고 주장한다.

저자들은 구조화된 확률적 추론과 코드 합성을 위한 LLM의 통합이 근사적으로 올바른 세계 모델의 자동 구축을 가능하게 한다고 단언한다. 이 접근 방식은 베이지안 추론과 명시적인 불확실성 정량화에 분석을 근거함으로써 순수 LLM의 "환각" 및 재현성 문제를 해결한다. 결과는 투명성, 재현성 및 엄격한 정당화가 필요한 영역(금융 등)에서 CRISTAL과 같은 뉴로심볼릭 프레임워크가 순수 딥러닝이나 LLM 기반 에이전트보다 변혁적인 패러다임을 제공함을 시사한다.

한계 및 향ere 향후 과제
저자들은 현재의 검증이 합성 데이터에 기반하고 있음을 인정한다. 향-후 연구는 실제 금융 데이터에 프레임워크를 적용하여 실무적 유용성을 평가하는 것을 목표로 한다. 또한, 까다로운 지표(예: 경영 실책)의 추출 개선과 LLM과 심볼릭 추론 간의 더 깊은 통합이 추가 개발이 필요한 영역으로 식별되었다.