Part-Coverage and Faithfulness Decouple in ViT Token Pruning for Fine-Grained Visual Categorization

인공지능의 세계에는 인간처럼 사진을 보고 이를 이해하도록 설계된 모델 계층이 점점 늘어나고 있습니다. 비전 트랜스포머(Vision Transformers)라고 알려진 이 시스템은 이미지를 픽셀 단위로 직선으로 스캔하는 대신, 이미지를 여러 개의 작은 정사각형 패치로 잘게 나눕니다. 그리고 각 패치를 하나의 독립적인 정보 단위, 즉 '토큰(token)'으로 취급합니다. 그 후 모델은 이 모든 토큰을 함께 처리하며, 최종 결정을 내리기 위해 각 토큰에 얼마만큼의 주의(attention)를 기울여야 하는지 그 무게를 정합니다. 이러한 접근 방식은 새의 부리 곡선이나 자동차 헤드라이트의 모양처럼 아주 미세한 차이로 두 카테고리를 구분해야 하는 특정 조류 종이나 희귀한 자동차 모델을 식별하는 작업에서 매우 강력한 힘을 발휘합니다. 그러나 이 모델들은 모든 패치를 살펴보기 때문에, 특히 고해해상도 이미지를 다룰 때 매우 느려지고 계산 비용이 많이 들 수 있습니다. 이를 가속화하기 위해 엔지니어들은 '토큰 프루닝(token pruning)'이라 불리는 기술을 개발했습니다. 이는 프로세스의 초기 단계에서 덜 중요한 패치들을 버리고, 가장 관련성이 높은 패치들만 남겨 시간과 에너지를 절약하는 방법입니다. 여기서 핵심적인 질문은 항상 이것이었습니다. 어떤 패치가 가장 중요한지 어떻게 결정할 것인가?

수년 동안 이 결정을 내리는 표준적인 방식은 모델 내부의 특정 신호, 즉 시스템이 스스로의 '집중력'이 자연스럽게 끌리는 곳을 살펴보도록 요청하는 방식에 의존해 왔습니다. 연구자들은 만약 모델이 특정 패치에 주의를 기울이고 있다면, 그 패치가 식별을 위한 결정적인 세부 정보를 포함하고 있는 것이라고 가정했습니다. 하지만 새로운 연구가 이 오래된 가설에 도전합니다. 연구진은 속도를 위해 어떤 패치를 유지할지 결정하는 방법이, 모델이 실제로 물체의 올바른 부분을 보고 있는지 보장하는 방법과 반드시 일치하지는 않는다는 사실을 발견했습니다. 그들은 물체의 물리적 형태에 가장 잘 부합하는 패치를 유지하도록 최적화된 시스템이, 표준 시스템만큼이나 신뢰할 수 있는 결정을 내리면서도 완전히 다른 내부 논리를 가지고 있다는 것을 발견했습니다. 실제로, '올바른 물리적 부분을 유지하는 것'과 '최종 답변을 위한 올바른 논리를 유지하는 것'이라는 두 가지 목표는 서로 다른 방향을 향할 수 있으며, 이는 모델을 빠르게 만드는 도구가 모델이 작동하는 진짜 이유를 숨길 수도 있음을 의미합니다.

가나의 대학교들에 기반을 둔 이 연구팀은 항공기 모델이나 조류 품종처럼 매우 유사한 것들을 구별하는 데 전념하는 분야인 미세 형상 분류(fine-grained visual classification)를 사용하여 이 괴리를 테스트하고자 했습니다. 그들은 표준적인 소형 비전 트랜스포머 모델을 사용하였으며, 새, 자동차, 항공기 이미지가 포함된 세 가지 잘 알려진 데이터셋을 테스트했습니다. 그들의 목표는 프루닝 시스템의 품질을 판단하는 두 가지 다른 방법을 비교하는 것이었습니다. 첫 번째 척도는 '부분 커버리지(part coverage)'로, 이는 모델이 유지한 패치들이 비행기의 날개나 자동차의 그릴처럼 실제 물체의 물리적인 부분과 실제로 겹치는지를 단순히 확인합니다. 두 번째 척도는 '충실도(faithfulness)'로, 이는 입력 이미지가 약간 변했을 때 모델의 최종 결정이 그대로 유지되는지를 확인합니다. 만약 프루닝 방법이 진정으로 훌륭하다면, 이 두 가지 측면 모두에서 우수한 성과를 내야 합니다.

연구진은 어떤 패치를 남길지 결정하기 위해 몇 가지 다른 전략을 테스트했습니다. 한 전략은 오늘날 대부분의 시스템이 사용하는 기본 방식인 표준 '어텐션(attention)' 신호를 사용했습니다. 또한 입력이 약간 변경되었을 때 모델의 내부 상태가 어떻게 변하는지를 살펴보는 새로운 전략을 테스트했는데, 이 기법은 이미지와 최종 답변 사이의 더 깊고 직접적인 관계를 포착합니다. 실험을 진행했을 때 결과는 놀라웠습니다. 이 더 깊은 내부 신호를 사용하는 새로운 전략이 실제 물체의 부분을 더 잘 유지하는 데 훨씬 뛰어났습니다. 예를 들어, 항공기 데이터셋에서 이 새로운 방법은 표준 방법보다 실제 비행기 부위를 덮는 커버리지를 6퍼센트 포인트 이상 향 향상시켰습니다. 그러나 모델이 전체 이미지를 볼 때와 프루닝된 버전을 볼 때 동일한 올러른 결정을 내리는지를 확인하는 충실도를 점검했을 때, 두 방법은 거의 동일했습니다. 새로운 방법은 모델을 덜 신뢰할 수 없게 만든 것이 아니라, 단지 모델이 더 자주 올바른 곳을 바라보게 만들면서도 최종 판결은 바꾸지 않았을 뿐입니다.

이 발견은 이러한 시스템을 현재 어떻게 평가해야 하는지에 대한 숨겨진 간극을 드러냅니다. 오랫동안 이 분야는 프루닝 방법이 모델의 정확도를 유지한다면, 모델이 이미지의 올바른 부분을 보고 있는 것이라고 가정해 왔습니다. 연구는 이것이 항상 사실은 아니라는 점을 보여줍니다. 시스템은 정확하면서도 잘못된 패치를 보고 있을 수 있고, 혹은 정확하면서도 올바른 패치를 보고 있지만 다른 내부 경로를 통해 그곳에 도달할 수도 있습니다. 연구진은 이 간극을 측정하기 위한 새로운 프레임워크를 도입했으며, 이를 '디커플링(decoupling, 분리)'이라고 부릅니다. 그들은 이 간극이 모델이 프로세싱의 특정 중간 단계에서 이미지를 바라볼 때 가장 뚜렷하게 나타난다는 것을 발견했습니다. 만약 모델이 프로세싱 체인의 너무 이른 단계나 너무 늦은 단계에서 이미지를 본다면, 두 방법 사이의 차이는 사라집니다. 또한 이 효과는 모델이 매우 효율적이 되도록 강제되어 원래 이미지 패치의 아주 적은 비율만을 유지할 때 가장 강력하게 나타난다는 것도 발견했습니다.

연구진은 이러한 개선이 단순히 새로운 방법이 더 많은 컴퓨터 연산 능력이나 추가적인 파라미터를 학습하여 얻은 결과가 아님을 신중하게 배제했습니다. 그들은 자신들의 새로운 방법을 동일한 추가 용량을 가졌지만 특정 새로운 신호로는 훈련되지 않은 버전과 비교함으로써, 개선이 단순히 더 많은 도구를 가졌기 때문이 아니라 모델이 이미지를 바라보는 특정한 방식에서 기인했음을 확인했습니다. 그들은 모델의 자연스러운 어텐션에 의존하는 표준 방식이 모델이 효율성을 갖추어야 할 때 가장 중요한 물체의 부분을 포착하는 데 자주 실패한다는 것을 발견했습니다. 반면, 새로운 방법은 일관되게 인간이 물체를 식별하는 데 사용하는 물리적 특징에 대응하는 패치들을 선택했습니다.

이 발견은 우리가 이러한 AI 시스템을 어떻게 구축하고 신뢰해야 하는지에 대한 관점을 바꾼다는 점에서 중요합니다. 만약 개발자가 조류 종을 식별하기 위한 빠른 시스템을 만들고자 한다면, 표준 프루닝 방법이 충분하다고 단순히 가정해서는 안 됩니다. 그들은 작동은 잘하지만, 종을 정의하는 바로 그 깃털이나 부리의 모양을 무시하고 있는 시스템을 갖게 될 수도 있습니다. 연구는 다른 훈련 신호를 사용함으로써, 동일한 속도와 정확도를 가지면서도 실제로 새의 부리와 날개를 보고 있는 시스템을 얻을 수 있음을 시사합니다. 연구진은 이것이 모든 상황에 적용되는 마법 같은 해결책은 아니며, 효과는 모델의 크기와 유지되는 이미지의 양에 크게 의존한다고 강조합니다. 그러나 많은 실생활 애플리케이션에서 사용되는 소형의 효율적인 모델들의 경우, 이 새로운 접근 방식은 더 나은 성능을 위한 명확한 경로를 제공합니다.

연구진은 또한 이러한 현상이 보편적인 것은 아니라는 점에도 주목했습니다. 훨씬 더 크고 강력한 버전의 모델을 테스트했을 때, 두 방법 사이의 차이는 사라졌습니다. 이는 이 문제가 실질적인 응용 분야에서 자주 사용되는 작고 빠른 모델들의 제약 조건에 특화된 문제임을 시사합니다. 이러한 작은 모델들에서, 무엇을 남길지 결정하는 기존의 방식은 최적화될 수 있는 만큼 정밀하지 않습니다. 연구는 엔지니어들에게 명확한 지도를 제공합니다: 만약 당신의 모델이 빠르기를 원하면서 동시에 이미지의 올바른 부분을 보고 있기를 원한다면, 새로운 훈련 신호를 사용해야 합니다. 만약 최종적인 속도와 정확도에만 관심이 있다면 기존 방법도 여전히 작동할 수 있지만, 모델이 잘못된 이유로 결정을 내리고 있다는 위험을 감수하는 것입니다.

궁극적으로, 이 연구는 컴퓨터 비전 분야에 새로운 차원의 명확성을 가져다주었습니다. 효율성과 설명 가능성이 항상 일치하는 것은 아님을 보여줍니다. 모델은 투명하지 않으면서도 효율적일 수 있고, 효율적이지 않으면서도 투명할 수 있습니다. 이 두 가지 목표를 분리함으로써, 연구진은 과학계에 이러한 시스템을 측정하고 개선할 수 있는 더 나은 방법을 제시했습니다. 그들은 적절한 훈련을 통해 우리가 '두 마리 토끼를 다 잡을 수 있음'을 보여주었습니다. 즉, 휴대폰에서 실행될 만큼 빠르고, 희귀한 새를 식별할 만큼 정확하며, 새의 어느 부분을 보고 있는지 우리에게 정직하게 보여줄 수 있는 시스템 말입니다. 이는 인공지능을 단순히 강력하게 만드는 것을 넘어, 이해 가능하고 신뢰할 수 있게 만드는 중요한 진전입니다.