A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi

당신이 사진을 보고 질문에 답할 수 있는 초지능 로봇 두뇌를 가지고 있다고 상상해 보세요. 보통 이런 두뇌는 너무 거대하고 전력을 많이 잡아먹어서, 이를 실행하려면 거대하고 비싼 컴퓨터가 필요하거나, 두뇌의 일부는 컴퓨터의 메모리에 두고 다른 일부는 프로세서에 두는 식으로 나누어야 합니다. 하지만 만약 이 초지능 두뇌를 14년 된 컴퓨터 부품에서 실행하고 싶다면 어떨까요? 이것이 바로 이 논문이 다루는 과제입니다. 이는 마치 현대적인 고화질 비디오 게임을 2011년형 노트북에서 실행하려는 것과 같습니다. 여기서 핵심 아이디어는 "추론(inference)"인데, 이는 로보트가 학습을 마친 후 실제로 생각하고 질문에 답하는 것을 뜻하는 멋진 말입니다. 이 논문은 다음과 같이 묻습니다. 우리는 현대적인 시각 지능 AI를, 메인 컴퓨터의 두뇌로부터 아무런 도움을 받지 않고 아주 오래되고 성능이 낮은 그래픽 카드에서만 온전히 실행할 수 있을까요? 이를 위해 연구원들은 수학적 구조를 짜는 데 있어 매우 영리해야 했습니다. 왜냐하면 그 오래된 카드는 현대적인 카드들이 가진 많은 특수 도구들을 갖추고 있지 않기 때문입니다.

이 논문의 이야기는 한 엔지니어 팀이 최신 모델인 MiniCPM-V-4.6이라는 브랜드 뉴한 현대적 AI 어시스턴트를 가져와서, 메모리가 6GB뿐인 2011년형 NVIDIA 그래픽 카드(Tesla C2075)에서 강제로 실행시킨 이야기입니다. 보통 이 카드는 소프트웨어 세계에서 "버려진" 것으로 간주되는데, 즉 더 이상 아무도 이 카드를 위한 새로운 프로그램을 작성하지 않는다는 뜻입니다. 연구원들은 이 전체 시스템이 메인 컴퓨터와 데이터를 주고받을 필요 없이 오로지 이 오래된 카드 위에서만 작동하게 만들 수 있는지 알고 싶었습니다. 그들은 성공했습니다. 하지만 단순히 짐작해서 성공한 것이 아니라, 모든 것을 측정하고 자신들의 첫 번째 추측이 종종 틀렸다는 것을 깨달음으로써 성공했습니다.

그들이 발견한 내용과 그 방법은 다음과 같습니다:

1. "오래된 도구"가 새로운 것보다 더 나았다
팀은 AI를 빠르게 실행하기 위해 자신만의 맞춤형 수학 도구(커널이라고 불리는)를 작성하는 것부터 시작했습니다. 그들은 자신들이 직접 손으로 쓴 수학 코드가 가장 빠를 것이라고 생각했습니다. 하지만 측정해 본 결과, 자신들의 커스텀 코드는 카드의 최대 속도의 37%에 불과했습니다. 그 후, 그들은 10년 전 이 카드와 함께 제공되었던 표준적인 오래된 도구(cuBLAS라고 불림)를 사용해 보았습니다. 놀랍게도, 이 오래된 도구는 최대 속도의 64%로 실행되었으며, 이는 자신들의 커스텀 코드보다 거의 두 배나 빨랐습니다! 그들은 오래된 하드웨어에서는 때때로 "지루한" 기성 제품들이 오히려 초고속 도구라는 것을 배웠습니다. 그래서 그들은 데이터를 이 오래된 도구가 이해할 수 있는 형식으로 변 변환하여, 그 오래된 도구가 힘든 일을 처리하도록 맡기기로 했습니다.

2. "슬로우 모션" 실수
AI에는 사람이 대화를 나누는 것처럼, 읽으면서 무언가를 기억하는 특별한 부분이 있습니다. 팀은 이 과정을 빠르게 만들기 위해 대화를 작은 덩어리(chunk)로 나누었습니다. 처음에는 이 새로운 방식이 더 느리다고 생각했습니다. 그들은 거의 포기할 뻔했습니다! 하지만 자세히 시간을 측정해 보니, 코드의 아주 작은 한 부분이 똑같은 수학 계산을 두 번 수행하고 있고, 컴퓨터가 멈췄다 다시 시작하기를 너무 자주 기다리고 있다는 것을 발견했습니다. 그 문제적인 부분 하나를 고치자, 새로운 "덩어리(chunked)" 방식은 기존 방식보다 2.8배 더 빨라졌습니다. 이는 전체적인 그림만 봐서는 안 되며, 병목 현상을 찾기 위해 모든 단계를 일일이 확인해야 한다는 교훈을 주었습니다.

3. "4비트"의 함정
AI의 세계에서는서 숫자를 "8비트" 대신 "4비트"로 사용하여 모델의 메모리 크기를 줄이곤 하는데, 숫자가 작아지면 속도가 더 빨라질 것이라고 생각하기 때문입니다. 팀은 이 오래된 카드에서 이 실험을 해보았습니다. 4비트 숫자가 공간을 절반만 차지함에도 불구하고, 카드는 그것을 "풀어내는(unpack)" 데 추가적인 수학 계산을 수행해야 했고, 이 오래된 카드는 그 특정 수학 계산에 취약했습니다. 결과는 어땠을까요? 4비트 버전은 8비트 버전보다 오히려 12% 더 느렸습니다. 그래서 그들은 이 특정 오래된 카드에서는 더 큰 숫자가 더 빠르다는 이유로 더 큰 8비트 숫자를 그대로 사용하기로 했습니다.

4. "타이브레이킹(Tie-Breaking)" 규칙
AI가 사진을 볼 때, 이미지의 각 조각이 어디에 위치하는지 파악해야 합니다. 연구원들은 두 조각이 정확히 같은 선상에 있을 때(즉, "타이" 상황) 어떻게 할지를 결정하는 자신만의 수학적 방식을 작성해 보았습니다. 그들은 여러 가지 방법을 시도했지만, 매번 결과가 원래 AI의 답과 약간씩 달랐습니다. 그들은 원래의 AI가 타이를 결정하는 방식이 표준적인 수학으로는 완벽하게 복제할 수 없는 아주 미세하고 구체적인 규칙이라는 것을 발견했습니다. 해결책은 무엇이었을까요? 그들은 바퀴를 재발명하려고 애쓰는 것을 멈추고, 그냥 원래 AI의 수학 라이브러리에 그 타이브레이킹을 해달라고 요청했습니다. 이로써 그들의 버전이 원본과 정확히 일치하도록 만들었습니다.

5. "긴 이야기" 문제
가장 큰 놀라움은 그들이 긴 질문으로 AI를 테스트했을 때 찾아왔습니다. 질문이 짧을 때(2,000 단어) AI는 빨랐습니다. 하지만 질문이 매우 길어지면(10,000 단어), AI는 속도가 처참하게 느려져서 17배나 더 느려졌습니다. 알고 보니 AI가 이전 단어들을 되돌아보는 방식이 엉망이고 비효율적이었습니다. 팀은 이 부분을 앞서 언급한 것과 같은 "오래된 도구(cuBLAS)"를 사용하도록 다시 작성했고, 데이터가 AI가 이미 사용 중인 메모리에 딱 맞게 배치되도록 조정했습니다. 이 작업은 문제를 완전히 해결했습니다. 이제 AI는 10,000단어의 질문을 처리할 때도 짧은 질문을 처리할 때만큼이나 거의 빠르게 작동합니다.

최종 결과
이러한 기술들을 사용하여, 팀은 현대적인 시각 지능 AI를 2011년형 그래픽 카드에서 온전히 실행해 냈습니다. 전체 시스템은 카드의 메모리 안에 들어오며, 이미지를 포함한 질문에 단 1.7초 만에 답할 수 있습니다. 심지어 매우 긴 문서와 큰 이미지도 충돌 없이 처리할 수 있습니다. 이 논문의 가장 중요한 교훈은 단순히 오래된 컴퓨터를 작동시킨 것이 아닙니다. 그것은 자신들의 직관보다 측정을 더 믿어야 한다는 것을 배웠다는 점입니다. 그들이 정답을 안다고 생각할 때마다(예를 들어 "4비트가 더 빠를 것이다" 또는 "우리의 커스텀 코드가 최고다"라고 생각했을 때), 측정값은 그들의 생각이 틀렸음을 증명했습니다. 데이터를 경청하고 적절한 도구를 사용함으로써, 그들은 14년 된 하드웨어를 작동하는 현대적인 AI 어시스턴트로 탈바꿈시켰습니다.