Seeing Is Not Deciding: Can Multimodal LLMs Act as Effective CEOs?

당신이 거대한 우주선의 선장이라고 상상해 보십시오. 하지만 단 하나의 조이스틱으로 조종하는 것이 아니라, 당신에게 말로 말을 걸고 수천 개의 서로 다른 데이터 화면을 보여주는 제어 패널을 가지고 있습니다. 이것이 바로 인공지능(AI), 특히 **거대 언어 모델(LLM)**이라 불리는 기술의 세계입니다. 이 모델들을 지구상의 거의 모든 책을 읽은 초천재 로봇이라고 생각하십시오. 이들은 이야기 이해하기, 수학 문제 풀기, 심지어 코딩을 하는 데에도 탁월합니다. 최근 과학자들은 이들에게 "눈"을 선물하여, 이들을 **멀티모달 LLM(Multimodal LLM)**으로 진화시켰습니다. 이제 이 로봇들은 텍스트를 읽는 것뿐만 아니라 사진, 차트, 그래프를 볼 수 있게 되었습니다. 여기서 모두가 던지는 큰 질문은 이것입니다. 만약 우리가 이 AI 로봇들에게 최고경영자(CEO)의 직무, 즉 거대하고 중대한 비즈니스 결정을 내리는 역할을 맡긴다면, "눈"을 갖는 것이 진실을 보는 데 도움이 될까요, 아니면 추가된 정보가 그들을 혼란스럽게 만들까요? 이는 마치 요리사가 갑자기 식재료의 향을 맡을 수 있게 되었을 때, 그 향 덕분에 더 맛있는 케이크를 만들게 될지, 아니면 그 향 때문에 레시피를 따르는 데 방해를 받을지를 묻는 것과 같습니다.

C-SUITEBENCH라는 새로운 연구에서, 연구진은 세계에서 가장 똑똑한 9개의 AI 모델을 최고경영자(CEO)의 자리에 앉혀 시험해 보기로 했습니다. 그들은 단순히 로봇에게 보고서를 읽으라고 시킨 것이 아니라, "상황 보고서"(텍스트)와 함께 다채로운 차트, 재무 그래프, 성과 지표가 담긴 대시보드(이미지)를 함께 제공했습니다. 목표는 시각적 데이터가 텍스트만 읽을 때보다 AI가 더 나은 선택을 하도록 돕는지 확인하는 것이었습니다. 연구진은 다섯 가지 유형의 경영 과업에 대해 AI를 테스트했습니다: 기업의 문제 진단하기, 어떤 단서가 가장 중요한지 순위 매기기, 한정된 예산을 어떻게 배분할지 결정하기, 미래의 리스크 예측하기, 그리고 이사회에 자신의 결정을 설명하기입니다.

결과는 "와우"와 "잠깐만요"가 섞여 있었습니다. 문제 진단이나 리스크 예측에 있어서, 눈을 가진 AI 모델들은 환상적이었습니다. 차트를 보는 것은 그들이 트렌드를 포착하고 점들을 연결하는 데 있어 텍스트만 읽을 때보다 훨씬 더 큰 도움을 주었습니다. 예를 들어, 리스크를 예측하라는 요청을 받았을 때, 그래프를 볼 수 있는 모델들은 점수가 상당히 크게(일부 모델의 경우 최대 +0.37까지) 향상되었습니다. 마치 시각적 데이터가 숫자 뒤에 숨겨진 "이야기"를 이해하는 초능력을 준 것 같았습니다.

하지만 이 연구는 저자들이 **"멀티모달 통합 역설(multimodal integration paradox)"**이라고 부르는 이상하고 까다로운 문제를 발견했습니다. AI가 제한된 자원 배분(constrained resource allocation) 결정, 즉 엄격한 수학적 규칙을 지키면서 여러 부서에 한정된 예산을 나누어야 하는 결정을 내려야 할 때, 추가된 시각 정보는 오히려 그들을 더 서툴게 만들었습니다. 비록 모델들이 차트를 완벽하게 "볼" 수는 있었지만, 이미지를 추가하자 결정 점수가 떨어졌습니다(평균 약 -0.08). 이는 마치 향기를 완벽하게 맡을 수 있는 요리사가 레시피에 따라 재료를 계량하려고 할 때, 너무 많은 향기에 정신이 팔려 실수로 양념통 전체를 엎어버리는 것과 같습니다.

연구진은 왜 이런 일이 일어났는지 알아내기 위해 더 깊이 파고들었습니다. 그들은 문제가 AI가 차트를 볼 수 없어서가 아니라는 것을 발견했습니다. 사실 모델들은 시각적 단서를 포착하는 데 매우 뛰어났습니다. 문제는 바로 **"신호 혼잡(signal crowding)"**이었습니다. AI가 텍텍스트, 숫자, 그리고 세 가지 유형의 차트를 동시에 다뤄야 했을 때, 정보의 엄청난 양이 예산의 엄격한 규칙을 따르는 능력을 압도해 버린 것입니다. 만약 AI에게 단 한 가지 유형의 차트(예: 재무 숫자만 있는 차트)만 주었다면, 모든 차트를 한꺼번에 주었을 때보다 더 잘 수행했다는 사실이 밝혀졌습니다. 모든 시각적 신호의 조합이 AI의 뇌 속에 "교통 체증"을 만들어, 예산의 엄격한 제약 조건을 잊어버리게 만든 것입니다.

그렇다면 이것이 미래에 무엇을 의미할까요? 이 연구는 단순히 AI에게 더 많은 눈과 더 많은 데이터를 주는 것이 항상 정답은 아니라는 점을 시사합니다. 패턴을 포착하거나 이야기를 전달해야 하는 작업에는 시각 자료가 큰 도움이 됩니다. 하지만 예금 장부를 정리하거나 고정된 예산을 배분하는 것과 같이 엄격한 규칙에 기반한 행동이 필요한 작업에서는, 과도한 시각적 소음이 오히려 시스템을 망가뜨릴 수 있습니다. 연구진은 미래의 AI가 직면한 진짜 과제는 단순히 더 잘 보는 것이 아니라, 압박이 가해지는 상황에서 어떻게 소음을 무시하고 올바른 단서에 집중할지를 배우는 것이라고 결론지었습니다. 그들은 자신들의 새로운 테스트인 C-SUITEBENCH가 차트를 언제 봐야 하고, 언제 숫자에만 집중해야 하는지를 아는 더 똑똑한 AI CEO를 만드는 데 도움이 되기를 바랍니다.