A Picture is Worth a Thousand Tokens: How Vision Language Models Cut AI Energy Costs While Improving Accuracy

당신이 로봇에게 긴 숫자 목록을 보고 자동차의 타이어가 펑크 났는지 찾아내는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 '대규모 언어 모델(LLM)'이라는 인공지능의 일종으로, 보통 단어와 문장을 읽습니다. 하지만 여기에는 함정이 있습니다. 로봇에게 가공되지 않은 숫자를 입력하면, 로봇은 모든 숫자를 하나의 개별적인 단어처럼 읽어야 합니다. 381개의 숫자로 이루어진 목록은 50,000개의 작은 '토큰'(AI가 이해하는 데이터의 기본 단위)으로 변할 수 있습니다. 이는 마치 아름다운 노을을 설명하기 위해 모든 픽셀의 색상 코드를 하나하나 읽어 내려가는 것과 같습니다. 이 과정은 믿기 힘들 정도로 느리고, 엄청난 양의 전기를 소모하며, 숫자들이 명확한 이야기를 들려주지 않기 때문에 종종 로봇을 혼란에 빠뜨립니다.

이제 숫자의 목록을 읽는 대신, 로봇에게 데이터의 전체 모습인 간단한 선 그래프를 보여준다고 상상해 보세요. 갑자기 로봇은 전체 그림을 한 번에 보게 됩니다. 로봇은 인간이 그러하듯 즉각적으로 급증(spike)이나 급락(dip)을 포착할 수 있습니다. 이것이 '시각-언어 모델(VLM)'의 힘입니다. VLM은 이미지를 '보고' 텍스트를 동시에 '읽을 수 있는' AI 시스템입니다. 과학자들이 던지는 핵심 질문은 이것입니다. 데이터를 그림으로 바꾸는 데 드는 추가적인 노력이 그만한 가치가 있는가? 그림으로 보여주는 것이 AI를 더 똑똑하게 만들고 에너지를 절약해 주는가, 아니면 그저 화려한 눈속임에 불 불과한가? 이 논문은 특히 에너지 비용과 속도가 매우 중요한 이동통신 네트워크와 같은 복잡한 시스템을 모니터링하는 상황을 통해 이 질문을 파고듭니다.

---

그림은 천 개의 토큰(그리고 엄청난 에너지)보다 가치 있다

이동통신 네트워크의 세계에서는 문제가 끊임없이 발생합니다. 셀 타워(기지국)가 갑자기 작동을 멈추거나 데이터 속도가 급락할 수도 있습니다. 이러한 문제를 포착하기 위해 엔지니어들은 'KPI(핵 키 퍼포먼스 인디케이터, 핵심 성과 지표)'를 모니터링합니다. 이는 기본적으로 네트워크가 어떻게 작동하고 있는지를 추적하는 일련의 숫자들입니다. 전통적으로 엔지니어들은 이 문제 지점들을 찾기 위해 이 숫자들을 AI 모델에 입력합니다. 하지만 이 논문의 저자들이 발견했듯이, 가공되지 않은 숫자를 표준 텍스트 기반 AI에 입력하는 것은 마치 소방 호스로 물을 마시려는 것과 같습니다. 지저분하고, 낭비가 심하며, 때로는 불가능하기까지 합니다.

문제점: '토큰'의 폭발
표준 AI가 숫자의 목록을 읽을 때, AI는 이를 '토큰'이라고 불리는 아주 작은 조각들로 나눕니다. 저자들은 단 8개의 서로 다른 네트워크 지표에서 나온 적당한 크기의 데이터 창(window)만으로도 46,101개에서 59,803개 사이의 토큰이 폭발적으로 생성된다는 것을 발견했습니다. 이는 AI가 처리하기에 너무나 방대한 양의 데이터입니다. AI가 사용하는 에너지는 읽어야 할 토큰의 수에 직접적으로 비례하기 때문에, 이 방식은 믿기 힘들 정도로 비용이 많이 듭니다. 이는 마치 모래알 하나를 운반하기 위해 그 모래알을 백만 개의 별도 상자로 포장해서 배달 트럭을 부르는 것과 같습니다.

게다가 24개의 서로 다른 지표를 다룰 경우, 숫자 목록이 너무 길어져서 현재 대부분의 AI 모델의 메모리 한계를 초과하게 됩니다. 이는 로봇의 뇌에 한꺼번에 담기에는 너무 많은 양이며, 결국 엔지니어들이 데이터를 잘라내야만 하고, 결과적으로 문제를 놓칠 가능성을 만듭니다.

해결책: 숫자를 예술로 바꾸기
저자들은 다른 접근 방식을 시도했습니다. AI에게 가공되지 않은 숫자를 직접 입력하는 대신, 그림을 입력하기 시작한 것입니다. 그들은 동일한 데이터를 2D 선 그래프(시각적 플롯)로 변환했습니다. 이제 AI는 50,000개의 토큰을 읽는 대신, 이미지를 나타내는 몇 천 개의 '시각적 토큰'만을 보면 되었습니다.

결과는 놀라울 정도로 좋았습니다. 데이터를 그림으로 바꿈으로써, 팀은 AI가 처리해야 하는 데이터의 양을 획기적으로 줄였습니다:

• 사용된 특정 AI 모델에 따라 필요한 토큰 수가 3.6배에서 10.4배 적어졌습니다.
• 이는 점검 한 번당 소비되는 에너지가 1.8배에서 2.5배 감소했음을 의미합니다.

이를 구체적으로 설명하자면, 15분마다 200개의 셀 사이트(cell site)를 모니터링하는 통신 네트워크의 경우, 이 전환을 통해 매일 약 7.2 메가줄(MJ)의 에너지를 절약할 수 있습니다. 이는 평균적인 미국 가정에서 하루 동안 사용하는 전력량과 맞먹는 양으로, 단지 컴퓨터에 데이터를 보여주는 방식만 바꿨을 뿐인데 이 정도의 에너지를 아낀 것입니다.

단순히 전력을 아끼는 것만이 아닙니다. 더 똑똑해지는 것입니다.
가장 놀라운 부분은 이것입니다. 에너지를 아꼈다고 해서 AI가 멍청해진 것이 아니라는 점입니다. 사실, AI는 더 똑똑해졌습니다.

• AI가 그림을 보았을 때, 텍스트를 읽을 때보다 네트워크 문제를 포착하는 정확도가 220.7% 더 높았습니다.
• 또한 기존의 특화된 수학 도구들(LSTM 및 ARIMA 등)보다 144% 이상 뛰어난 성능을 보였습니다.
• 공개 테스트에서 한 모델(Pixtral-12B)은 텍스트 대신 이미지를 사용할 때 문제를 찾는 효율성이 20.6배 더 높아졌습니다.

왜 이런 현상이 발생할까요? 저자들은 데이터가 숫자의 목록일 때는 AI가 점과 점 사이를 연결하기 위해 모든 계산을 수행해야 한다고 설명합니다. 하지만 데이터가 그림일 때는 문제의 '형태'(예: 갑작스러운 급증이나 완만한 하락)가 바로 눈앞에 펼쳐집니다. 마치 당신이 타이어의 모든 면의 공기압을 측정하지 않고도 자동차의 펑크 난 타이어를 즉시 알아볼 수 있는 것과 같습니다.

세부 사항: 연구 방법
연구진은 단순히 추측한 것이 아니라 모든 것을 정밀하게 측정했습니다. 그들은 실제 4G/5G 네트워크와 공개 클라우드 데이터를 사용하여 세 가지 유형의 고급 AI 모델(Llama-3.2-90B, Qwen2.5-VL-72B, Pixtral-12B)을 테스트했습니다. 또한 AI가 답변하는 모든 질문에 대해 컴퓨터 칩이 정확히 얼마나 많은 전력을 사용하는지 측정하기 위해 특수 도구를 사용했습니다.

또한 이미지의 해상도를 낮추면 에너지를 더 아낄 수 있는지 테스트했습니다. 그들은 이미지를 75 DPI(인치당 도트 수)까지 줄여도 동일한 정확도를 유지할 수 있다는 것을 발견했으며, 이는 에너지를 추가로 24% 더 절약할 수 있게 해주었습니다. 이는 AI가 셀 타워 바로 옆에서 실행되는, 열과 전력 제한이 엄격한 '엣지(edge)' 컴퓨팅 환경에서 매우 유용한 정보입니다.

결론
이 논문은 특정 유형의 데이터, 특히 시간에 따른 숫자의 흐름에 대해서는 데이터를 그림으로 바꾸는 것이 게임 체인저임을 입증합니다. 이것은 단순한 시각적 기술이 아니라 실질적인 공학적 솔루션입니다. 시각-언어 모델을 사용함으로써, 우리는 더 빠르고, 훨씬 적은 전기를 사용하며, 기존의 텍스트 기반 시스템보다 실제로 문제를 더 잘 찾아내는 AI 시스템을 만들 수 있습니다.

기술의 미래, 특히 에너지와 공간이 귀중한 셀 타워와 같은 곳에서, 컴퓨터와 대화하는 가장 좋은 방법은 단어나 숫자가 아니라, 단순하고 명확한 그림일 수도 있다는 것을 이 논문은 시사합니다.