🤖 AI

From Numbers to Judgment: Specialist LLM Agents and Reinforcement Learning for European Listed Real Estate

본 논문은 유럽 상장 부동산 분석을 특화된 LLM 에이전트로 분해하는 것이 수치적 과업 수행 성능을 유의미하게 향상시키지만, 통합적인 재무적 판단력을 강화하기 위해서는 프롬프트 수준의 분해뿐만 아니라 강화 학습(GRPO)을 통한 표적화된 파라미터 적응이 필요함을 입증한다.

원저자: Pardis Taghavi, Santosh Bhavani

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pardis Taghavi, Santosh Bhavani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능형 로봇에게 금융 분석가가 되는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이러한 로봇들은 거대 언어 모델(LLM)이라고 불립니다. 이들을 도서관에 있는 거의 모든 책을 읽은 매우 박식한 학생이라고 생각하면 됩니다. 하지만 이들은 특정한 까다로운 수학 문제를 풀거나, 다양한 규칙이 섞인 복잡한 결정을 내려야 할 때 가끔 혼란을 겪기도 합니다. 이 논문은 연구자들이 이 로봇들에게 돈과 비즈니스 규칙을 다루는 법을 가르치는 가장 좋은 방법을 찾아내려는 과학의 한 구석에 자리 잡고 있습니다. 이들이 던지는 큰 질문은 이것입니다. 로봇에게 모든 것을 한꺼번에 하라고 시키는 것이 나을까요, 아니면 업무를 나누어 서로 다른 전문가들의 팀처럼 행동하도록 하는 것이 나을까요? 이는 마치 "한 명의 천재 셰프가 혼자서 연회 요리 전체를 요리하게 하는 것이 나을까요, 아니면 제빵사, 그릴 마스터, 소스 전문가가 각각 따로 있는 주방을 만드는 것이 나을까요?"라고 묻는 것과 같습니다.

연구자들은 이 아이디어를 테스트하기 위해 매우 구체적이고 까다로운 주제인 유럽 부동산 기업들을 사용하기로 했습니다. 이 기업들은 마치 같은 건물에 살고 있지만 각자 사는 국가에 따라 서로 다른 규칙을 따르는 이웃들과 같습니다. 어떤 기업은 이익의 대부분을 배당금으로 지급해야 하는 반면, 어떤 기업은 전혀 지급할 필요가 없습니다. 만약 특정 기업에 잘못된 규칙을 적용한다면 수학적 계산이 틀려지게 되고, 그 투자 조언은 위험해집니다. 연구팀은 분석을 '전문가' 역할로 나누는 것이 로봇이 숫자를 정확하게 맞히는 데 도움이 되는지, 그리고 로봇이 기업에 투자하는 것이 안전한지에 대한 크고 복잡한 판단을 내리는 데 도움이 되는지를 확인하고 싶었습니다.

전문가 팀 vs. 1인 체제

이 아이디어를 테스트하기 위해 연구자들은 "라릭스(Larix)"라고 불리는 시스템을 구축했습니다. 라릭스를 부동산 기업을 분석하기 위한 거대한 16단계 체크리스트를 가진 매니저라고 상상해 보세요. 라리키는 이 체크리스트 전체를 한 대의 로봇에게 건네주며 "이걸 혼자 다 해봐"라고 말하는 대신, 다른 방식을 시도합니다. 그것은 체크리스트를 8개의 작은 팀, 즉 '전문가'로 나눕니다. 한 팀은 '재무(Financials)' 전문가이고, 다른 팀은 '자산 품질(Asset Quality)' 전문가이며, 또 다른 팀은 '매크로 오버레이(Macro Overlay)' 전문가입니다.

연구자들은 누가 이길지 알아보기 위해 매우 강력한 로봇(프런티어 모델)과 경주를 진행했습니다. 첫 번째 경주에서 로봇은 혼자서 모든 것을 해야 했습니다('모놀리식' 접근 방식). 두 번째 경주에서 로봇은 16단계의 전체 체크리스트를 받았지만 여전히 혼자서 모든 것을 해야 했습니다. 세 번째 경주에서 로봇은 '재무' 전문가와 같이 특정 전문가 역할을 부여받았고, 해당 직무와 관련된 체크리스트의 특정 부분만 제공받았습니다.

결과는 놀랍고 매우 명확했습니다. 보고서에서 특정 숫자를 찾거나 간단한 계산을 하는 것과 같은 지루하고 기계적인 수학 작업에 있어서는 전문가 방식이 압승이었습니다. 전문가 역할을 수행한 로봇은 모든 것을 한꺼번에 하려 했던 로봇보다 수치 작업의 정확도가 15.8 퍼센트 포인트 더 높았습니다. 이는 마치 전문가는 된 로봇이 노이즈 캔슬링 헤드폰을 쓰고 모든 혼란스러운 추가 지시 사항을 무시한 채 오직 수학에만 집중한 것과 같았습니다.

하지만 로봇이 여러 증거를 살펴보고 기업이 위험한지 안전한지를 결정해야 하는 '판단' 작업에 있어서는 전문가 방식이 전혀 도움이 되지 않았습니다. 사실, 전문가 방식은 판단 작업에서 상황을 더 악화시키기도 했습니다. 전문가 역할을 수행한 로봇은 판단 작업에서 모든 것을 혼자 수행한 로봇과 동일한 점수를 기록했습니다. 이는 제대로 된 판단을 내리기 위해서는 단지 하나의 좁은 단면이 아니라 전체적인 그림을 볼 필요가 있기 때문입니다. 업무를 나누어 놓음으로써 로봇은 서로 다른 정보들 사이의 연결 고리를 놓치게 되었습니다.

"두뇌"를 훈련시키는 마법

연구자들은 그다음 두 번째 질문을 던졌습니다. 만약 업무를 조각으로 나누는 것이 어려운 판단을 내리는 데 도움이 되지 않는다면, 로봇의 두뇌를 직접 "훈련"시켜서 더 잘하게 만들 수 있을까요? 그들은 더 작고 저렴한 로봇(90억 개의 파라미터를 가진 Qwen3.5-9B 모델)을 가져와 "그룹 상대 정책 최적화(GRPO)"라는 특별한 종류의 훈련을 시켰습니다.

이 훈련은 로봇이 정답을 맞힐 때마다 높은 점수를 얻고 틀릴 때마다 낮은 점수를 받는 비디오 게임과 같습니다. 시간이 지나면서 로봇은 더 높은 점수를 얻기 위해 자신의 내부 '두뇌 설정'을 조정하는 법을 배웁니다. 그들은 단순히 답을 암기하게 한 것이 아니라, 게임의 규칙을 이해하도록 가르쳤습니다.

이 훈련은 판단 작업에 있어 마법처럼 작용했습니다. 훈련 후, 더 작은 규모의 로봇의 판단 작업 점수는 14.2 포인트 상승했습니다. 이 로봇은 단순히 연습했던 특정 기업들에 대해서만 잘하게 된 것이 아니라, 한 번도 본 적 없는 기업들에 대해서도 더 잘하게 되었습니다. 완전히 새로운 기업들을 대상으로 테스트했을 때, 전체 점수는 15.2 포인트 상승했으며, 특히 '커버넌트 스트레스(covenant stress, 기업이 재정적 어려움을 견딜 수 있는지 확인하는 테스트)' 테스트에서는 무려 40.4 포인트나 개선되었습니다.

핵심 결론

그렇다면 이 논문이 실제로 발견한 것은 무엇일까요? 이는 AI를 금융 분석에 사용하는 데 있어 단 하나의 "최선의 방법"은 없다는 것을 시사합니다. 그것은 전적으로 당신이 로봇에게 무엇을 시키느냐에 달려 있습니다.

숫자와 수학의 경우: 업무를 전문가로 나누는 것이 가는 길입니다. 이는 로봇이 집중하고 방해 요소들을 무시하도록 도와주어 훨씬 더 정확한 계산을 이끌어냅니다.
거시적인 판단의 경우: 업무를 나누는 것은 도움이 되지 않습니다. 대신, 로봇이 서로 다른 정보들 사이의 연결 고리를 이해할 수 있도록 직접 로봇의 두뇌를 "훈련"시켜야 합니다.

연구자들은 이것이 모든 것을 해결해 주는 마법의 지팡이가 아님을 주의 깊게 언급했습니다. 그들은 단순히 로봇에게 더 긴 규칙 목록(전체 16단계 프레임워크)을 주는 것만으로는 문제가 해결되지 않았음을 보여주었습니다. 수학에는 특정한 '전문화'가 도움이 되었고, 판단에는 특정한 '훈련'이 도움이 되었던 것입니다. 또한 그들은 자신들의 결과가 특정 19개 기업과 특정 유형의 부동산을 기반으로 하고 있으므로, 전 세계의 모든 유형의 비즈니스에 똑같이 적용될 것이라고 100% 확신할 수는 없다고 명시했습니다. 하지만 유럽 부동산의 세계에서 교훈은 명확합니다. 수학을 위해서는 전문가 팀을 사용하고, 큰 결정을 내릴 때는 잘 훈련된 일반론자를 사용하십시오.

기술 요약: 숫자에서 판단으로: 유럽 상장 부동산을 위한 전문화된 LLM 에이전트 및 강화 학습

1. 문제 정의

유럽 상장 부동산 분석은 대규모 언어 모델(LLM)에 두 가지 과제를 제시합니다: 모듈형 수치 연산(특정 체제별 지표 추출, 내재 캡 레이트 계산)의 필요성과 통합적 재무 판단(회계, 규제, 리스크 차원을 조화시켜 코버넌트 여유도 또는 배당 지속 가능성을 평가하는 것)의 필요성입니다.

이 도메인은 높은 이질성을 특징으로 합니다. 법적 및 보고 체제(예: 프랑스 SIIC와 룩셈부르크 등록 임대업자 간의 차이)는 배당 의무 및 성과 지표에 대한 별도의 규칙을 규정합니다. LLM의 결정적인 실패 모드는 "유창성의 함정(fluency trap)"입니다. 즉, 공시 자료에서 정확한 수치는 추출했으나 잘못된 체제의 규칙을 적용하여, 모델의 출력이 매우 유창함에도 불구하고 결과적으로는 탐지하기 어려운 기계적 오류를 범하는 현상입니다.

기존의 멀티 에이전트 시스템은 분해(decomposition)의 이점과 도메인 특화 지침 또는 모델 차이의 효과를 혼동하는 경우가 많습니다. 본 논문은 고정된 프런티어 모델과 더 작은 모델을 대상으로, 전문가적 분해(프롬프트 수준)와 파라미터 적응(사후 학습)의 효과를 격리하여 분석하며, 다음 질문에 답하고자 합니다:

태스크를 렌즈 정렬된 전문가에게 분해하는 것이 고정된 프런티어 LLM의 성능을 향상시키는가?
이러한 개선이 수치 작업과 판단 작업 모두에서 일반화되는가?
타겟팅된 강화 학습(RL) 사후 학습이 작은 모델의 제로샷 능력을 넘어 통합적 판단 능력을 개선할 수 있는가?

2. 방법론

2.1 Larix 프레임워크 및 태스크 구성

본 연구는 16개의 렌즈로 구성된 유럽 상장 부동산 분석 프레임워크를 8개의 렌스 정렬된 전문가(예: 재무, 자산 품질, 매크로 오버레이)로 매핑하는 Larix를 활용합니다. 평가는 다운스트림 합성이나 포지션 사이징을 제외한 **전문가 계층(specialist layer)**에 집중합니다.

벤치마크는 7개의 규제 래퍼(wrapper)를 포함하는 19개 기업을 대상으로 5가지 태스크로 구성됩니다:

수치 태스크 ( $T_{num}$ ): $T_1$ (체제별 지표), $T_3$ (내재 캡 레이트), $T_6$ (배당 체제 분류). 이는 국소적 추출 또는 결정론적 계산을 요구합니다.
판단 태스크 ( $T_{judg}$ ): $T_2$ (조정 항목 식별), $T_5$ (코버넌트 스트레스 평가). 이는 여러 공시 사항과 체제별 제약 조건을 결합해야 합니다.

2.2 실험 조건

본 연구는 고정된 프런티어 모델(Claude Opus 4.8)과 두 가지 조건을 사용하는 작은 모델(Qwen3.5-9B)을 사용하여 세 가지 프롬프트 조건을 비교합니다:

모놀리식 (Claude-Mono): 전문가 분해 없이 일반적인 재무 분석 프롬프트를 사용합니다.
전체 프레임워크 (Claude-Full): 전체 16개 렌즈 프레임워크(~4,800자)를 포함하는 단일 프롬프트를 사용합니다.
전문가 분해 (Claude-Spec): 결정론적 라우터가 각 태스크를 관련 렌즈 정렬된 전문가 프롬프트(관련된 하위 집합만 포함)에 할당합니다.
제로샷 소형 모델 (Qwen-ZS): 전문가 프롬프트를 사용하는 Qwen3.5-9B입니다.
RL 사후 학습 (Qwen-RL): 태스크 정렬된 구조화된 보상을 사용하여 GRPO(Group Relative Policy Optimization)로 미세 조정된 Qwen3.5-9B입니다.

2.3 점수 산정 및 정답(Ground Truth)

평가는 LLM 판정관이 아닌 결정론적이고 루브릭 기반인 점수 산정 시스템에 의존합니다.

정답(Ground Truth): 외부 독립 부동산 전문가가 라벨링한 45개 튜플과 프레임워크 저자들이 1차 자료에서 큐레이션한 50개 튜플을 사용합니다.
점수 산정: 필드는 정확한 일치(별칭 정규화 포함) 또는 허용 오차 기반 수치 규칙(예: 지표의 경우 ±5%, 비율의 경우 ±10%)을 기준으로 점수를 부여합니다. 잘못된 출력은 0점 처리됩니다.
지표: 주요 집계값은 $S_{num}$ ( $T_1, T_3, T_6$ 의 평균) 및 $S_{judg}$ ( $T_2, T_5$ 의 평균)입니다.

2.4 RL 사후 학습 설정

Qwen3.5-9B는 200개의 행(실제 데이터 195개, 반사실적 데이터 5개)을 사용하여 GRPO로 사후 학습되었습니다.

보상: 결정론적 벤치마크 점수 ( $R_i = S_t(\hat{y}_i, y^\star_i)$ )를 사용합니다.
최적화: 별도의 언어 모델 판정관을 피하고, 태스크별 점수를 직접 최대화하도록 정책을 업데이트합니다.
분할(Splits): 일반화 및 안티-메모리제이션(anti-memorization) 테스트를 위해 훈련 데이터는 홀드아웃 기업, 래퍼 및 기간과 분리되었습니다.

3. 주요 결과

3.1 전문가 분해: 태스크별 효과

19개 기업의 대륙형 코호트에서 전문가 분해는 태스크 의존적인 결과를 낳았습니다:

수치 태스크: 성능이 유의미하게 향상되었습니다. 집계 점수가 **78.9% (Monolithic)**에서 **94.7% (Specialist)**로 상승하여 15.8%포인트의 이득을 보였습니다. 이는 $T_1$ (+26.3 pts)과 $T_3$ (+21.1 pts)의 개선에 의해 주도되었습니다.
판단 태스크: 성능이 안정적으로 향상되지 않았습니다. 집계 점수는 **47.4%**로 변하지 않았습니다. 실제로 $T_2$ (조정 항목 식별)는 약간 감소(-5.2 pts)했습니다.
프레임워크 공시: 모놀리식 모델에 전체 16개 렌즈 프레임워크를 제공하는 것(Claude-Full)은 수치적 이득을 재현하지 못했습니다. 오히려 $T_1$ 의 성능을 감소시켰으며(-10.5 pts), $T_2$ 를 약간 도왔습니다. 이는 이 이득이 단순히 더 많은 프레임워크 텍스트를 노출하는 것이 아니라, 범위가 제한된 렌즈 소유권(컨텍스트 축소)에서 온다는 것을 나타냅니다.

3.2 RL 사후 학습: 통합적 판단 능력 개선

GRPO를 통해 Qwen3.5-9B를 사후 학습시킨 결과 프롬프트 분해의 한계를 해결했습니다:

개발 분할(Development Split): 전체 점수가 **72.2% (Zero-Shot)**에서 **84.2% (RL)**로 증가하여 12.0포인트의 이득을 얻었습니다.
판단 태스크: 판단 집계( $T_2 + T_5$ )가 14.2포인트(58.6%에서 72.8%로) 개선되었습니다. 이는 프롬프트 수준의 분해가 실패했던 특정 영역입니다.
수치 태스크: $T_1$ 은 제로샷 천장(99.5%)에 머물렀으나, $T_3$ 와 $T_6$ 는 개선되었습니다.

3.3 분포 외(OOD) 전이

RL 사후 학습의 이득은 미학습 데이터로 전이되었습니다:

미학습 기업: 전체 점수가 +15.2포인트 증가했습니다. 가장 큰 폭의 상승은 코버넌트 스트레스 태스크( $T_5$ )로, 38.1%에서 78.5%로 +40.4포인트 상승했습니다.
미학습 래퍼: 전체 점수가 +4.3포인트 증가했습니다.
후기 기간: 전체 점수가 +2.5포인트 증가했습니다.
안티-메모리제이션: 모든 안티-메모리제이션 분할에서 긍정적인 전이가 관찰되었으며, 이는 모델이 특정 기업 데이터를 암기한 것이 아니라 의사결정 정책을 학습했음을 확인시켜 줍니다.

4. 기여

본 논문은 네 가지 구체적인 기여를 합니다:

통제된 평가: 소스 증거, 지침 및 점수 산정 방식을 고정하고, 분해의 효과를 격리하기 위해 전체 프레임워크 대조군을 포함한 동일 모델 기반의 렌즈 정렬 전문가 분해 평가를 수행했습니다.
트레이드오프 식별: 분해가 모듈형 수치 분석은 개선하지만, 여러 차원과 제약 조건을 결합해야 하는 통합적 재무 판단 태스크에서는 신뢰할 만한 개선을 가져오지 못하거나 오히려 성능을 저하시킨다는 실증적 근거를 제시했습니다.
구조화된 RL 사후 학습: 태스크 정렬된 구조화된 보상을 사용하는 GRPO 사후 학습이 작은 모델(9B)이 제로샷 성능을 넘어 통합적 판단 능력을 갖추게 하며, 이 이득이 미학습 기업 및 규제 래퍼로 전이됨을 입증했습니다.
벤치마크 공개: 교정된 셀 단위 프로비넌스(per-cell-provenance) 루브릭과 강화된 스코어링 하네스를 갖춘 25개 기업, 8개 래퍼 벤치마크를 공개합니다.

5. 의의 및 주장

본 논문은 태스크 의존적 역할 분담이 금융 LLM에 필수적이라고 결론짓습니다:

프롬프트 수준의 분해는 무관한 컨텍스트를 제거하고 중간 필드를 명시적으로 만듦으로써, 국소적이고 검증 가능한 수치 연산을 단순화하는 데 효과적입니다.
**타겟팅된 파라미터 적응(RL 사후 학습)**은 모델이 여러 차원과 제약 조건에 걸쳐 증거를 조화시켜야 하는 통합적 재무 판단을 수행하는 데 필요합니다.

저자들은 이러한 결론이 벤치마크 규모, 래퍼 커버리지 및 테스트된 특정 모델 제품군에 의해 제한된다는 점을 강조합니다. 프런티어 모델에 대한 소형 모델의 일반적인 우월성을 주장하는 것이 아니라, 타겟팅된 전문화(프롬프트 엔지니어링 또는 파라미터 튜닝을 통해)가 금융 분석의 서로 다른 병목 현상을 해결한다는 점을 밝히는 것입니다. 본 연구는 실험에 호출되지 않은 다운스트림 합성, 확신도 캘리브레이션 또는 포지션 사이징에 관한 주장을 명시적으로 배제합니다.