Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding

당신이 우주의 별들 사이를 항해하는 대신, 금융 차트, 주식 표, 그리고 복잡한 문서들의 바다를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신에게는 문서를 읽고 당신의 질문에 답할 수 있는 매우 똑똑하고 매우 빠른 로봇 비서(AI)가 있습니다. 이 로봇은 패턴을 찾아내는 데 탁월하지만, 때때로 과도하게 자신만만해지곤 합니다. 빈 종이를 보고도 자신 있게 특정 주가를 말하거나, 그래프를 잘못 읽으면서도 아주 확신에 찬 목소리로 말할 수도 있습니다. 금융의 세계에서 숫자를 틀리는 것은 단순한 실수가 아닙니다. 그것은 수백만 달러의 손실을 초래할 수 있습니다. 그래서 중요한 질문은 단순히 "로봇이 똑똑한가?"가 아니라, "지금 로봇이 하는 말을 믿을 수 있는가?"입니다.

이 문제를 해결하기 위해, 과학자들은 로봇에게 '신뢰도 점수'를 스스로 부여하도록 가르치고 있습니다. 이는 0에서 1 사이의 숫자로 "나는 내가 맞다고 꽤 확신한다" 또는 "나는 그냥 추측하고 있다"라고 말하는 것입니다. 이것은 일기예보와 같습니다. 기상 캐스터가 비가 올 확률이 90%라고 말하면 우산을 챙깁니다. 하지만 10%라고 말하면 집에 머뭅니다. 그렇다면 만약 기상 캐스터가 하늘 상태가 어떻든 상관없이 항상 "90%"라고 말하는 거짓말쟁이라면 어떻게 될까요? 당신은 비에 흠뻑 젖게 될 것입니다. 이 논문은 우리의 금융 로봇 비서들이 정직한 기상 캐스터인지, 아니면 자신만만한 거짓말쟁이인지를 테스트하는 것에 관한 것입니다. 연구진은 우리가 로봇의 신뢰도를 확인하기 위해 사용하는 도구들이, 단순히 고양이나 강아지 사진 같은 일반적인 그림을 볼 때가 아니라, 한 번도 본 적 없는 까다로운 금융 차트를 보고 있을 때도 제대로 작동하는지 확인하고 싶었습니다.

로봇의 "직감" 테스트

연구진은 AI가 진실을 말하고 있는지 확인하는 일곱 가지 서로 다른 방법을 테스트하기 위해 대규모 실험을 설계했습니다. 그들은 다섯 가지 서로 다른 "스마트" AI 모델을 사용했고, 세 가지 서로 다른 금융 테스트 뱅크에서 문제를 풀게 했습니다. 이 테스트에는 주식 차트 읽기, 기업 보고서 분석, 심지어 영어와 중국어 모두로 질문에 답하기가 포함되었습니다. 함정은, AI의 신뢰도를 확인하는 데 사용된 도구들이 일반적인 일상 사진(예: 매트 위에 앉아 있는 고양이)으로만 학습되었으며, 추가 훈련 없이 금융의 심해로 바로 던져졌다는 점입니다. 이는 마치 잔잔한 수영장에서만 연습한 구조대원을 폭풍우가 치는 바다에서 사람을 구하라고 투입한 것과 같았습니다.

연구팀은 세 가지 큰 발견을 해냈으며, 이는 AI가 혼자서 모든 것을 운영하게 되기를 바라는 모든 이들에게 경종을 울리는 내용입니다.

1. "순위"를 매기는 능력만으로는 부족합니다. "정직함"이 필요합니다.
첫 번째 발견은, AI의 신뢰도를 확인하는 데 사용되는 많은 도구가 답변들을 "최선의 추측"부터 "최악의 추측"까지 분류하는 데는 능숙하지만, 자신이 얼마나 확신하는지에 대해 얼마나 정직한지에 대해서는 형편없다는 것입니다. 시험을 치르는 학생을 상상해 보십시오. "순위"를 매기는 도구는 "이 답변이 저 답변보다 낫다"라고 말할 수는 있지만, 학생이 그저 추측하고 있음에도 불구하고 두 답변 모두에 100% 확신 점수를 줄 수도 있습니다. 연구진은 표준적이고 사용하기 쉬운 방법들이 터무니없이 과도하게 자신만만하다는 것을 발견했습니다. 그들은 틀린 답변에 대해서도 맞는 답변과 거의 비슷하게 90%의 신뢰도 점수를 부여했습니다. 이것은 위험합니다. 만약 "신뢰도가 80% 이상인 답변만 믿겠다"라는 규칙을 세운다 해도, 여전히 많은 틀린 답변을 믿게 될 것이기 때문입니다.

하지만, AI의 뇌 내부를 들여다보는 두 가지 특별한 도구(이를 "프로브(probes)"라고 부릅니다)는 훨씬 더 나았습니다. 이 도구들은 "교정(calibrated)"되어 있었습니다. 즉, 이들이 80% 확신한다고 말하면 실제로도 80%의 확률로 맞았습니다. 이 도구들만이 "자동화할 것인가"와 "인간에게 물어볼 것인가" 사이의 안전한 경계선을 그을 수 있는 유일한 도구였습니다.

2. "만능 솔루션"은 존재하지 않습니다.
두 번째 발견은, 단 하나의 "최고"의 도구를 골라 영원히 사용할 수 없다는 것입니다. 최고의 도구는 AI가 무엇을 하고 있는지, 그리고 어떤 AI 모델을 사용하는지에 따라 달라집니다. 이것은 공구함에서 가장 좋은 도구를 찾는 것과 같습니다. 망치는 못에는 훌륭하지만, 나사에는 엉망입니다.

• AI가 단순한 차트를 보고 있을 때는 한 가지 도구가 가장 잘 작동했습니다.
• AI가 복잡한 문서를 읽고 있을 때는 다른 도구가 더 나았습니다.
• 작업이 중국어로 진행될 때는 순위가 다시 바뀌었습니다.

연구진은 단 하나의 도구도 20가지 시나리오 중 8가지 이상에서 승자가 되지 못했다는 것을 발견했습니다. 이는 만약 여러분이 일반적인 리더보드만 보고 "최고"의 도구를 고른다면, 여러분의 구체적인 업무에 맞지 않는 도구를 고르게 될 가능성이 높다는 것을 의미합니다. AI의 신뢰성은 전역적인 속성이 아니라, 국지적이고 복잡한 문제입니다.

3. AI의 숙련도가 한계를 결정합니다.
세 번째 발견은 우리가 로봇에게 실제로 얼마나 많은 일을 맡길 수 있는가에 대한 것입니다. 연구진은 다음과 같이 물었습니다. "우리가 나머지 부분을 확인하기 위해 멈추기 전까지, 로봇이 자동으로 답변할 수 있는 질문은 몇 개인가?" 그들은 그 답이 애초에 로봇이 얼마나 똑똑한지에 달려 있다는 것을 발견했습니다.

• 가장 쉬운 작업(예: 간단한 차트 읽기)의 경우, 적절한 신뢰도 도구를 사용한다면 로봇이 업무의 상당 부분을 처리할 수 있었습니다.
• 가장 어려운 작업(예: 복잡한 금융 문서)의 경우, 로봇이 너무 자주 틀렸기 때문에 가장 좋은 신뢰도 도구조차 이를 구제할 수 없었습니다. "안전한" 자동화의 양은 거의 제로에 가까웠습니다.

결국, 신뢰도 도구는 나쁜 로봇을 좋게 만드는 것이 아니라, 단지 언제 로봇이 잘못되었는지를 알려주는 역할을 할 뿐입니다. 이 도구는 로봇이 고군분투하고 있을 때, 즉 실수를 잡아냄으로써 가치를 더합니다. 하지만 로봇이 이미 절반의 확률로 실패하고 있다면, 어떤 신뢰도 확인 도구도 그것을 혼자서 일할 수 있을 만큼 안전하게 만들 수 없습니다.

거짓말을 잡아내는 "마법"의 도구

연구진이 테스트한 가장 흥-미로운 도구 중 하나는 BICR이라 불리는 도구였습니다. 이 도구는 특별한 기술을 가지고 있습니다. 바로 AI가 그림을 무시하고 단순히 학습된 지식에 기반해 이야기를 지어내고 있는지를 구별해 내는 것입니다.
AI에게 "이 그래프의 가장 높은 지점은 어디인가?"라고 묻는다고 가정해 봅시다. 만약 AI가 주의를 기울이고 있다면 그래프를 살펴볼 것입니다. 하지만 만에 AI가 그래프를 무시하고 있다면, 자신이 알고 있는 상식에 기반해 숫자를 추측할 수도 있습니다. BICR 도구는 AI가 그래프를 무시하고 있는지 감지할 수 있습니다. AI가 차트를 보지 않고 답변하려고 하면, BICR은 신뢰도 점수를 낮춥니다. 이것은 마치 로봇이 실제 데이터 대신 말로만 그럴싸하게 답변하는 것을 알아채는 거짓말 탐지기와 같습니다. 이는 금융에서 AI가 저지를 수 있는 가장 무서운 실수, 즉 실제 숫자와는 아무런 관련이 없으면서도 유창하고 자신감 넘치는 답변을 내놓는 상황을 방지하는 데 매우 중요합니다.

결론

이 논문은 AI가 점점 똑똑해지고는 있지만, 아직 우리가 비행기를 혼자 조종하게 둘 준비는 되지 않았다고 결론짓습니다. 테스트된 다섯 가지 AI 모델은 금융 차트와 문서를 다룰 때 요구되는 높은 안전 기준을 충족할 만큼 스스로 신뢰할 수 있는 수준이 아닙니다.

현재 가장 좋은 접근 방식은 "신뢰도 게이트(confidence-gated)" 시스템입니다. 즉, AI가 쉬운 일은 처리할 수 있지만, 어려운 일에 대해서는 반드시 "인간이 개입(human in the loop)"해야 한다는 것입니다. AI는 신뢰도 점수가 높고, 동시에 그 점수를 확인하는 도구가 교정되어(정직하여) 있을 때만 행동할 수 있어야 합니다. 만약 도구가 "확신할 수 없다"거나 "AI가 차트를 무시하고 있다"라고 말한다면, 그 답변은 인간 전문가에게 전달되어야 합니다.

요약하자면, AI는 매우 빠르고 매우 자신만만한 인턴과 같습니다. 인턴은 많은 잡무를 수행할 수 있지만, 인턴이 실수로 수백만 달러를 잘못된 계좌로 보내지 않도록 인턴의 신뢰도 측정기를 읽을 줄 아는 관리자가 반드시 필요합니다. 이를 위한 도구들은 존재하지만, 특정 업무에 맞춰 신중하게 선택해야 하며, 단순히 똑똑하지 못한 로봇을 고쳐줄 수는 없습니다.