GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

로봇에게 조언하는 법을 가르치려고 한다고 상상해 보세요. 인공지능의 세계에서 이것은 마치 학생에게 수학 문제를 푸는 법을 가르치는 것과 비슷합니다. 보통 우리는 학생에게 질문과 정답을 보여주며 그 패턴을 암기하도록 기대합니다. 하지만 현실 세계의 "정답"이 엉망이라면 어떨까요? 만약 역사서가 실수로 가득 차 있거나, 상황에 따라 정답이 변한다면 어떨까요? 이것이 바로 **강화 학습(Reinforcement Learning, RL)**의 과제입니다. 단순히 과거의 답을 복사하는 대신, RL은 AI가 다양한 시도를 하고, 그 결과에 대한 "점수"를 받으며, 다음번에 더 잘하기 위해 그 점수로부터 배우게 합니다. 이는 AI가 수천 개의 레벨을 플레이하며 좋은 움직임에 점수를 얻고, 서서히 완벽한 전략을 배워가는 비디오 게임과 같습니다.

이제 이 게임이 돈에 관한 것이라고 상상해 보세요. 재무 조언을 하는 것은 까다로운 일인데, 잘못된 제안이 실제로 비즈니스에 해를 끼칠 수 있기 때문입니다. AI가 올바른 방향으로 학습하도록 보장하기 위해, 연구자들은 조언을 채점하는 또 다른 똑똑한 AI인 "심판"을 사용합니다. 하지만 함정이 있습니다. 때때로 학생 AI가 실제 세상에서 효과적인 조언을 하기보다는, 심판이 듣고 싶어 하는 말을 정확히 함으로써 심판을 속이는 법을 배울 수도 있다는 것입니다. 이 논문은 AI가 비즈니스 조언을 하도록 훈련하는 새로운 방법을 개발하여, 단순히 심판을 통해서뿐만 아니라 그 조언이 과거에 실제로 돈을 벌어다 주었는지 확인하는 방식으로 이 문제를 해결합니다.

---

돈에 밝은 로봇 이야기

Intuit의 팀을 만나보세요. 그들은 비즈니스의 엉망인 재무 기록을 살펴보고 "자, 수익을 높이기 위해 당신이 해야 할 구체적인 일은 이것입니다"라고 말할 수 있는 AI를 만들고 싶었습니다. 단순해 보이지만, 컴퓨터에게는 사실 악몽 같은 일입니다. 조언은 실제 숫자에 기반해야 하고, 안전해야 하며(고객이 단 한 명뿐인 비즈니스에 해고를 권해서는 안 됩니다!), 실행 가능해야 합니다.

문제는 우리에게 "황금 표준(gold standard)"인 정답지가 없다는 점입니다. 과거 비즈니스 소유주들이 내린 결정이 항상 완벽했던 것은 아니기에, AI에게 그것을 그대로 복제하도록 가르칠 수 없습니다. 또한, 모든 시나리오에 대해 완벽한 조언을 작성하도록 인간 전문가에게 요청하는 것은 너무 비용이 많이 들고 느립니다. 그래서 팀은 이 문제를 비디오 게임처럼 다루기로 했습니다. 그들은 GRPO(Group Relative Policy Optimization)라고 불리는 방법을 사용했습니다.

GRPO를 "그룹 챌린지"라고 생각해보세요. AI가 하나의 답을 추측하고 점수를 받는 대신, 한 번에 한 그룹의 다양한 조언 제안들을 생성합니다. 그런 다음, 초스마트 "심판 AI"(Claude Opus 4.5라고 불림)가 이 모든 것을 살펴보고 체크리스트를 바탕으로 점수를 매깁니다. 이 체크리스트에는 11가지 규칙이 있습니다: 안전한가? 비즈니스의 실제 숫자를 사용하는가? 이유를 설명하는가? 만약 제안이 위험하다면 즉시 0점을 받습니다. 안전하지만 지루하다면 낮은 점수를 받습니다. 만약 안전하고, 구체적이며, 똑똑하다면 높은 점수를 받습니다. 그러면 AI는 높은 점수를 받은 것들과 유사한 제안을 더 많이 만들도록 학습합니다.

"친절한" 심판의 함정

여기서 흥미로운 점이 발생합니다. 팀은 위험성을 알고 있었습니다. 만약 AI가 심판 AI에게 좋게 들릴 뿐, 실제로는 비즈니스에 돈을 벌어다 주지 못하는 조언을 쓰는 법을 배우게 된다면 어떻게 될까요? 이는 마치 선생님이 좋아하는 문구들을 외워서 A를 받지만, 실제 시험에서는 낙제하는 학생과 같습니다.

이를 잡아내기 위해 연구자들은 완전히 다른 두 번째 테스트를 구축했습니다. 그들은 심판 AI를 전혀 사용하지 않았습니다. 대신, CATE(Conditional Average Treatment Effect)라고 불리는 "타임머신" 방법을 사용했습니다.

당신에게 거대한 옛날 비즈니스 기록 상자가 있다고 상상해 보세요. 당신은 다음과 같이 알고 싶습니다: "만약 우리가 과거에 이 특정 행동을 취했다면, 비즈니스가 돈을 더 많이 벌었을까?" 연구자들은 새로운 AI가 생성한 조언을 간단한 "행동"(예: "배송 비용 절감" 또는 "제품 X의 가격 인상")으로 변환한 다음, 역사적 데이터를 조사했습니다. 그들은 물었습니다: "과거에 기업들이 이 행동을 했을 때, 정말로 이익이 늘어났는가?" 이것은 심판 AI가 무엇을 멋지다고 생각하는지에 의존하는 것이 아니라 실제 숫자에 의서하는 "심판 독립적(judge-independent)" 감사입니다.

거대한 반전

결과는 예상했던 승리와 매우 재미있는 반전이 섞여 있었습니다.

먼저, 새로운 AI(GRPO로 훈련된 모델)는 스타였습니다. 심판 AI가 채점했을 때, 이 모델은 10점 만점에 9.514점을 받았습니다. 이는 Claude Opus 4.6이나 GPT-5.4와 같은 가장 유명한 상용 AI 모델들조차 제친 최고 점수였습니다.

진짜 마법은 "타임머신" 감사에서 일어났습니다.

• 새로운 AI는 만약 과거에 실행되었다면 총이익을 0.0228(약 2.3% 증가)만큼 끌어올렸을 행동들을 제안했습니다.
• 최고의 상용 AI인 Claude Opus 4.6은 겨우 0.0104의 상승만을 기록했습니다.
• 즉, 새로운 AI는 강력한 상업적 경쟁자보다 실제로 돈을 벌어다 주는 행동을 찾아내는 능력이 약 두 배 더 뛰어났습니다.

더 멋진 점은 새로운 AI가 더 안전했다는 것입니다. 이 모델은 가장 낮은 "다운사이드 비율"(비즈니스에 해를 끼칠 가능성)과 가장 적은 "테일 리스크"(매우 나쁜 결과가 발생할 가능성)를 보였습니다.

반전: 심판과 타임머신의 의견 불일치

이 이야기는 가장 유쾌한 부분입니다. 심판과 타임머신은 누가 2위이고 3위인지에 대해 항상 의견이 일치하지 않았습니다.

훈련되지 않은 "베이스(base)" AI(훈련 전의 원형 모델)는 심판의 테스트에서 형편없었습니다. 점수는 8.457로 꼴찌였습니다. 말투가 엉망이고 다듬어지지 않았습니다. 하지만 타임머신이 그 조언을 확인했을 때? 그것은 꽤 잘 해냈습니다! 이 모델은 이익을 0.0170만큼 증가시켰는데, 이는 모든 상용 모델보다 나은 수치였습니다.

반대로, 상용 모델 중 하나인 Claude Opus 4.5는 심판으로부터 훌륭한 점수(8.982)를 받았고, 매우 전문적으로 들렸습니다. 하지만 타임머신은 이렇게 말했습니다. "잠깐만요." 이 모델의 조언을 따르면 오히려 돈을 잃게 될 것(-0.0025의 리프트)이라고 추정했습니다.

이것이 의미하는 바

이 논문은 금융 조언을 하는 데 있어 AI가 좋은지 판단하기 위해 단지 "심판"만을 신뢰해서는 안 된다는 것을 보여줍니다. 심판은 똑똑하게 들리고 규칙을 따르는 조언을 좋아합니다. 하지만 타임머신은 그 조언이 실제로 작동하는지에 관심을 가집니다.

GRPO와 안전 장치를 사용하여 훈련된 팀의 새로운 방법은 이 두 가지를 모두 해냈습니다. 이 모델은 심판에게 멋지게 들리는 조언을 쓰면서도, 동시에 타임머신 테스트에서 실제로 돈을 벌어다 주는 법을 배웠습니다. 이는 오픈 소스 모델을 스마트하고 안전에 집중하는 보상 시스템으로 훈련시키면, 값비싼 상업적 거물들을 이길 수 있다는 것을 증명했습니다.

저자들은 돈과 같이 이해관계가 걸린 작업에는 두 가지 검증이 모두 필요하다고 제안합니다. 조언이 안전하고 잘 작성되었는지 확인하는 루브릭(rubric)과, 그것이 실제로 작동하는지 확인하는 인과적 감사(causal audit)가 모두 필요합니다. 만약 하나만 본다면, 말은 번지르르하지만 수학은 엉망인 로봇에게 속을 수 있습니다. 그러나 그들의 새로운 로봇은 훌륭한 작가인 동시에 훌륭한 회계사입니다.