컴퓨터가 도서관의 거의 모든 책을 읽을 수 있는 영리하고 말이 빠른 학생과 같은 세상을 상상해 보십시오. 오랫동안 이 학생들은 단순한 질문에 답하는 데는 뛰어났지만, 까다로운 수학 문제나 돈의 흐름에 관한 질문을 던지면 때때로 혼란스러워하거나 사실을 지어내곤 했습니다. 이것이 바로 **금융 질의응답(Financial Question Answering)**의 세계입니다. 이곳은 인공지능의 특별한 영역으로, 컴퓨터가 단순히 사실을 회상하는 것을 넘어 숫자를 이해하고, 돈이 보고되는 엄격한 규칙을 따르며, 복합적인 시나리오를 추론할 수 있어야 하는 곳입니다. 하지만 여기에 반전이 있습니다. 돈은 영어로만 말하는 것이 아닙니다. 돈은 중국어, 아랍어, 힌디어 등 고유한 스크립트와 금융 속어를 가진 다양한 언어로도 말해집니다. 과학자들의 큰 질문은 이것입니다: 컴퓨터가 이 모든 언어에서 동시에 금융 천재가 될 수 있을까요, 아니면 영어로만 "돈"을 잘 말할 수 있는 것일까요?

"FinMMEval 2026 Task 1"이라는 제목의 이 논문은 이 컴퓨터 학생들에게 주어진 거대하고 중대한 시험에 대한 성적표와 같습니다. 저자들은 전 세계 팀들이 자신들의 최고의 AI 시스템을 보내 800개의 금융 객관식 질문에 답하게 하는 경진대회를 조직했습니다. 질문은 영어, 중국어, 아랍어, 힌디어 네 가지 언어로 균등하게 나누어졌습니다. 목표는 이 시스템들이 금융 전문 용어를 다루고, 수학을 계산하며, 다양한 문화적 맥로를 이해하는 능력을 갖추었는지 확인하여 단 하나의 정답을 골라낼 수 있는지 보는 것이었습니다. 이 논문은 단순히 점수를 나열하는 데 그치지 않고, 승자들이 문제를 어떻게 해결했는지 분석하며, 최상위 컴퓨터들은 매우 똑똑하지만 언어에 따라 난이도와 경쟁 양상이 달랐음을 밝혀냅니다.

2026년 위대한 금융 시험

이 경진대회를 "금융 수학의 올림픽"이라고 생각하십시오. 연구자들로 구성된 조직팀은 총 800개의 질문이 담긴 테스트를 준비했습니다. 그들은 컴퓨터에게 에세이를 쓰라고 요구하는 대신, "알맞은 카드 뽑기" 게임을 하도록 강요했습니다. 모든 질문에 대해 컴퓨터는 목록(보통 4개지만 때로는 2개, 3개 또는 5개) 중에서 하나의 정답을 선택해야 했습니다. 이는 매우 중요한 규칙이었습니다. 컴퓨터에게 "A", "B", "C" 또는 "D"와 같은 라벨을 선택하게 함으로써, 그럴듯하게 들리지만 틀린 답을 포함할 수 있는 긴 문장을 쓰는 혼란을 제거한 것입니다. 이는 순수한 논리와 지식의 시험이었습니다.

테스트는 네 가지 뚜렷한 언어 세계를 다루었습니다:

• 영어: 가장 흔한 금융 언어로, 200문항이 출제되었습니다.
• 중국어: 또 다른 주요 금융 허브로, 200문항이 출제되었습니다.
• 아랍어: 고유한 스크립트와 회계 전통을 가진 언어로, 200문항이 출제되었습니다.
• 힌디어: 성장하는 시장을 대표하며, 200문항이 출제되었습니다.

시험의 정답인 "골드" 답변은 비밀 금고에 보관되었습니다. 참가 팀들은 정답을 전혀 보지 못한 상태에서 답안을 제출해야 했으며, 이를 통해 아무도 책 뒷면을 훔쳐보는 방식으로 부정행위를 할 수 없도록 보장했습니다.

결과: 누가 트로피를 차지했는가?

마침내 비밀 금고가 열렸을 때, 결과는 인상적이었습니다. 상위권 성능을 보인 컴퓨터들은 자신의 업무를 놀라울 정도로 잘 수행했습니다.

• 영어와 아랍어에서 최고의 팀들은 질문의 **97.5%**를 맞혔습니다. 이는 200문제 중 195문제를 맞히는 것과 같습니다!
• 중국어에서 최고 점수는 **96.5%**였습니다.
• 힌디어에서 가장 높은 정확도는 **92.0%**였습니다.

이 숫자들은 승리의 행진처럼 보이지만, 논문은 이것이 반드시 영어가 힌디어보다 "쉽다"는 신호는 아니라고 주의 깊게 지적합니다. 이는 마치 네 개의 서로 다른 트랙에서 네 번의 서로 다른 경주를 비교하는 것과 같습니다. 영어 트랙에는 13개 팀이 달렸던 반면, 힌디어 트랙에는 10개 팀이 있었습니다. 질문 자체도 달랐으며, 쉬운 문제와 어려운 문제의 혼합 비율도 제각각이었습니다. 따라서 상위 점수가 높긴 했지만, 논문은 단지 이 점수만 보고 한 언어가 본질적으로 다른 언어보다 더 어렵다고 가정해서는 안 된다고 제안합니다.

pjmathematician, fosu ltw, 그리고 Pranshu Rastogi라는 동일한 세 팀이 거의 모든 언어에서 리더보드를 장악했습니다. 이들은 영어, 중국어, 아랍어, 힌디어 모두에서 상위권에 이름을 올리며 이 금융 시험의 "슈퍼 팀"임을 입증했습니다.

그들은 어떻게 해냈는가? 비밀 무기

논문은 승리한 팀들이 사용한 "비밀 무기"를 심층 분석합니다. 이는 단순히 큰 뇌를 갖는 것만이 아니라, 적절한 도구를 갖추는 것에 관한 문제입니다. 저자들은 상위 시스템들이 다음과 같은 영리한 전략들을 혼합하여 사용했다는 것을 발견했습니다:

1. 탐정의 수첩 (검색/Retrieval): 많은 팀이 단순히 기억 속의 지식에만 의존하지 않았습니다. 그들은 AI에게 답을 하기 전 특정 금융 사실이나 정의를 찾아볼 수 있는 "검색 엔진"을 제공했습니다. 이는 마치 학생이 시험 중에 교과서를 펼쳐 볼 수 있게 해주는 것과 같습니다.
2. 재확인 (자기 일관성/Self-Consistency): 일부 시스템은 같은 질문을 약간씩 다른 방식으로 여러 번 물어보고 매번 같은 답이 나오는지 확인했습니다. 만약 컴퓨터가 "A"라고 세 번 말하고 "B"라고 한 번 말했다면, "A"를 선택하는 방식입니다. 이는 친구에게 수학 숙제를 다시 한번 확인해달라고 부탁하는 것과 같습니다.
3. 번역가의 모자 (언어별 프롬프팅/Language-Specific Prompting): 팀들은 힌디어 질문은 영어 질문과 다르게 질문되어야 한다는 점을 깨달았습니다. 그들은 질문의 특정 언어와 문화에 맞게 지시 사항(프롬프트)을 조정했습니다.
4. 심사위원단 (앙상블/Ensembling): 어떤 팀들은 여러 AI 모델을 사용하여 정답에 투표하게 했습니다. 세 개의 서로 다른 "두뇌"가 하나의 답에 동의하면, 그들은 그 답에 확신을 가졌습니다.

논문은 이 시스템들이 단순히 찍은 것이 아니라고 명시적으로 언급합니다. 그들은 복잡한 추론을 사용했고, 확신 수준을 확인했으며, 심지어 첫 번째 AI의 답을 두 번째 AI가 비판하도록 하는 "검토 단계"를 거친 후 제출했습니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

논문은 우리가 여러 언어로 금융 다지선다형 질문을 매우 높은 정확도로 처리할 수 있는 지점에 도달했다고 결과를 맺습니다. 그러나 저자들은 이 문제가 "해결되었다"고 선언하는 데는 신중합니다. 그들은 상위 팀들의 성적은 높지만, 특히 1위와 5위 사이의 격차가 작으면서도 전체적인 정확도가 영어보다 낮았던 힌디어의 사례처럼, 나머지 팀들과의 격차가 여전히 존재한다고 제안합니다.

또한 논문은 다음 단계가 무엇인지 암시합니다. 미래의 시험은 컴퓨터가 왜 틀렸는지에 대해 더 깊이 들여다봐야 합니다. 언어의 문제였을까요? 수학의 문제였을까요? 아니면 특정 금융 주제의 문제였을까요? 저자들은 단순히 하나의 점수를 보고하는 것만으로는 부족하며, 이 금융 AI 도구들을 실제 세상에서 진정으로 신뢰할 수 있게 만들기 위해서는 그 세부 사항을 이해해야 한다고 제안합니다.

요약하자면, 이 논문은 컴퓨터가 여러 언어에서 금융 분석가로서 매우 유능해지고 있지만, 완벽해지기 위한 여정은 여전히 진행 중임을 알려줍니다. "슈퍼 팀"들은 우리에게 길을 보여주었지만, 개선과 발견을 위한 공간은 여전히 많이 남아 있습니다.