TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

컴퓨터가 사진을 이해하려고 노력하는 모습을 상상해 보십시오. 이를 위해 기계는 이미지를 수천 개의 아주 작은 조각들로 나누며, 각 조각을 하나의 독립된 정보 단위로 취급합니다. 이러한 모델들이 더욱 정교해짐에 따라, 기계는 이 조각들을 놀라운 디테일로 처리하는 법을 배웠지만, 여기에는 막대한 비용이 따릅니다. 이미지가 더 상세해질수록, 컴퓨터는 그 의미를 파악하기 위해 더 많은 조각들을 자신의 단기 기억 속에 담아두어야 합니다. 이는 병목 현상을 일으킵니다. 특히 이미지가 고해상도이거나 대화에서 길고 상세한 답변을 요구할 때, 컴퓨터는 공간이 부족해지거나 생각하는 데 너무 오랜 시간이 걸리게 됩니다. 수년간 연구자들은 컴퓨터에게 덜 중요한 조각들은 무시하도록 가르침으로써, 중요한 조각들은 남기고 나머지는 버리는 방식을 통해 이 문제를 해결하려고 노력해 왔습니다.

하지만 한 새로운 연구는 과학자들이 이러한 "무시" 전략을 테스트해 온 방식이 근본적으로 결함이 있었다는 점을 시사합니다. 오랫동안 이 분야는 컴퓨터가 객관식 목록에서 글자를 고르거나 "예" 또는 "아니오"라고 말하는 것과 같이 단 한 단어의 답변만을 내놓으면 되는 테스트에 의존해 왔습니다. 이 새로운 연구인 TwinPrune의 개발자들은, 이러한 단순한 테스트들이 프로세스의 아주 초기 단계에서 컴퓨터가 이미지를 얼마나 잘 이해하는지만을 측정한다는 사실을 발견했습니다. 이러한 테스트들은 컴퓨터가 긴 문장을 생성하기 위해 자신의 기억력을 사용하며 계속해서 말을 이어가야 할 때 어떤 일이 벌어지는지는 포착하지 못합니다. 실제로 이 연구는 어떤 방식이 단순한 테스트에서는 완벽해 보일지라도, 긴 설명을 작성하도록 요청받았을 때는 완전히 실패할 수 있음을 보여줍니다. 왜냐하면 단순한 테스트들은 프로세스의 '기억' 부분을 실제로 점검하지 않기 때문입니다.

이를 해결하기 위해, 연구팀은 이미지의 어떤 조각을 유지할 가치가 있는지 결정하는 새로운 방법을 개발했습니다. 특정 질문에 대해 한 조각의 이미지가 얼마나 두드러지는지를 보는 대신, 그 조각이 주변의 즉각적인 이웃 조각들과 비교했을 때 얼마나 독특한지를 살펴보았습니다. 만약 이미지의 한 구역이 주변의 구역들과 매우 유사해 보인다면, 그것은 중복된 것이므로 안전하게 제거될 수 있습니다. 반면, 그 구역이 다르게 보인다면 중요한 정보를 담고 있을 가능성이 높습니다. 이 "밀도" 점수는 시작 단계에서 한 번 계산되며, 이후 두 가지 작업에 사용됩니다. 첫째, 컴퓨터가 생각을 시작하기 전에 유사한 조각들을 하나로 합쳐 컴퓨팅 능력을 절약하도록 돕습니다. 둘째, 컴퓨터가 긴 답변을 쓰는 동안 어떤 정보 조각을 버릴지 결정하는 데 도움을 주어, 가장 독특하고 유용한 세부 사항들을 유지하도록 합니다.

연구진은 이 접근 방식을 소규모 모델부터 수십억 개의 파라미터를 가진 거대 시스템에 이르기까지 다양한 유형의 시각-언어 모델에 적용하여 테스트했습니다. 그들은 자신들의 방식과 기존의 가장 강력한 기술들을 기존의 단순한 테스트와 더 까다로운 새로운 테스트(긴 답변을 요구하는 테스트) 모두를 통해 비교했습니다. 단순한 테스트에서 그들의 방식은 최고의 경쟁 모델들과 대등한 성능을 보였습니다. 하지만 긴 문장을 생성해야 하는 까다로운 테스트에서는 차이가 극명했습니다. 다른 방식들은 컴퓨터가 간결하게 답해야 할 때 정확도가 급락하게 만들었지만, 새로운 방식은 원래 이미지 데이터의 아주 작은 부분만을 유지하면서도 높은 정확도를 유지했습니다. 예를 들어, 이미지 속 텍스트를 다루는 특정 벤치마크에서, 새로운 방식은 메모리가 심각하게 제한된 상황에서 차세대 기술보다 거의 10퍼센트 포인트 더 높은 성능을 기록했습니다.

아마도 가장 중요한 점은, 이 연구가 기존의 테스트 방식이 커다란 문제를 숨기고 있었다는 사실을 밝혀냈다는 것입니다. 연구진이 글쓰기 단계에서 컴퓨터로부터 모든 시각적 기억을 제거했을 때, 단순한 테스트에서는 성능 변화가 거의 나타나지 않았으나, 긴 답변 테스트에서는 품질이 대폭 저하되었습니다. 이는 단순한 테스트가 실제 세계에서의 사용에 있어 가장 중요한 요소, 즉 긴 대화 과정에서 정보를 기억하고 인출하는 능력을 감지하지 못한다는 것을 증명했습니다. 하나의 일관된 규칙을 사용하여 초기 사고와 장기 기억을 모두 관리하는 이 새로운 방식은, 컴퓨터의 초기 처리 속도를 3배 이상 높이는 동시에 메모리 사용량을 크게 줄였습니다.

이러한 결과는 이 분야가 잘못된 지표를 최적화해 왔음을 시사합니다. 연구진은 완전한 형태의 긴 답변을 요구하는 테스트로 초점을 전환함으로써, 복잡한 장면을 이해하는 능력을 희생하지 않으면서도 이 강력한 컴퓨터들을 훨씬 더 빠르고 효율적으로 만들 수 있음을 보여주었습니다. 이 접근 방식은 소형 기기부터 거대 슈퍼컴퓨터에 이르기까지 다양한 모델 크기에서 일관되게 작동하며, 컴퓨터를 다시 학습시킬 필요도 없습니다. 이는 고해상도 이미지와 긴 대화를 처리할 때 동력이 떨어지지 않도록 보장하며, 이러한 첨단 시스템을 일상적인 기기에 배포할 수 있는 실질적인 경로를 제공합니다.