Index-Preserving Lightweight Token Pruning for Efficient Document Understanding in Vision-Language Models

이 논문은 문서 이해를 위한 비전 - 언어 모델의 계산 부하를 줄이기 위해 비텍스트 영역을 제거하고 텍스트 영역의 공간적 일관성을 강화하는 경량 토큰 가지치기 프레임워크를 제안하고, 이를 통해 계산 비용을 크게 절감하면서도 정확도를 유지함을 실험을 통해 입증했습니다.

핵심

이 논문은 **"문서를 읽는 AI 가 너무 많은 시간을 낭비하지 않고, 핵심만 빠르게 읽을 수 있게 해주는 새로운 방법"**을 제안합니다.

마치 신문을 읽을 때를 상상해 보세요. 보통 우리는 제목, 본문, 사진, 광고 등 모든 것을 꼼꼼히 읽으려 노력합니다. 하지만 AI 가 고해상도 문서 (예: 영수증, 계약서) 를 읽을 때, 배경의 하얀 공간이나 장식적인 부분까지 모두 '데이터'로 처리하면 컴퓨터가 매우 느려지고 비싸집니다.

이 논문은 **"어디에 글자가 있는지 미리 찾아서, 글자가 없는 빈 공간은 과감히 버리고 글자만 남긴 뒤, AI 에게 전달하자"**는 아이디어를 담고 있습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "AI 는 너무 많은 잡음을 보고 있다"

지금까지의 AI 는 문서를 볼 때, 문서 전체를 한 장의 큰 사진처럼 다 봅니다.

• 비유: 친구가 "이 계약서에서 날짜만 찾아줘"라고 했을 때, AI 는 계약서 한 장을 통째로 들고 와서 빈 공간, 로고, 여백, 심지어 배경의 먼지까지 모두 자세히 조사합니다.
• 결과: AI 는 "여기는 글자가 없는데 왜 봐?"라고 생각할지 몰라도, 컴퓨터는 모든 픽셀을 계산하므로 시간과 전기가 많이 낭비됩니다.

2. 해결책: "글자만 골라내는 스마트한 필터"

저자들은 **'텍스트 영역 분류기 (Text-Region Classifier)'**라는 작은 도구를 도입했습니다.

• 비유: 이 도구는 **문서를 스캔하는 '스마트한 가위'**입니다. 문서가 들어오자마자 "여기는 글자가 있네? (유지)", "여기는 빈 공간이네? (버림)"라고 빠르게 판단합니다.
• 효과: 불필요한 배경 (하얀 여백) 을 잘라내버려서, AI 가 처리해야 할 데이터 양을 40~60%나 줄여줍니다. 마치 책상 위를 정리해서 필요한 서류만 남긴 것과 같습니다.

3. 핵심 기술: "위치 번호 (인덱스) 를 그대로 지키기"

이 논문에서 가장 중요한 발견은 **"잘라낸 뒤에도 글자의 원래 위치 번호를 잊지 말아야 한다"**는 점입니다.

• 비유:
  • 기존 방식 (위치 잃기): 가위로 문서를 잘라내서 글자 조각들을 모았을 때, "이 글자는 원래 1 번 자리였는데, 이제 1 번으로 다시 번호를 매겨버리면?"이라고 상상해 보세요.
  • 문제: "1 번"에 있던 글자가 "2 번"으로 옮겨지면, AI 는 "아, 이 글자는 원래 2 번 자리에 있었구나"라고 착각합니다. 문서에서 글자의 **위치 (레이아웃)**는 내용만큼이나 중요합니다. (예: "날짜"가 오른쪽 상단에 있어야 한다는 것)
  • 이 논문의 방식: 가위로 잘라내더라도, **"이 조각은 원래 50 번 자리였어, 51 번 자리였어"**라고 원래의 주소 (인덱스) 를 그대로 붙여서 AI 에게 전달합니다.
  • 결과: AI 는 잘라낸 조각들을 다시 원래 위치처럼 인식해서, 문맥을 정확히 이해할 수 있습니다.

4. 추가 보정: "실수한 부분을 '최대 풀링 (Max-Pooling)'으로 복구"

가위질 (분류) 을 할 때, 가끔 글자의 일부가 잘리거나 글자 주변이 너무 좁게 잘릴 수 있습니다.

• 비유: 가위로 글자 주위를 잘랐는데, 글자 끝이 살짝 잘려나간 경우입니다.
• 해결: 저자들은 **"주변을 조금 더 넓게 잡아주자"**는 전략을 썼습니다. (Max-Pooling)
  • "여기에 글자가 있다면, 그 옆쪽도 함께 포함시켜서 안전하게 가자"라고 생각하여, 실수로 잘라낸 글자 조각들을 다시 붙여줍니다.
  • 이 과정을 거치면, AI 가 읽을 수 있는 글자의 양이 다시 늘어나서 정확도가 떨어지지 않습니다.

5. 결론: "빠르고 똑똑한 문서 읽기"

이 방법을 적용한 결과:

• 계산량 (FLOPs): 40~60% 감소 (컴퓨터가 훨씬 가볍게 작동).
• 정확도: 글자 위치 번호를 지키고, 실수를 보정했기 때문에 정확도는 거의 떨어지지 않음.

한 줄 요약:

"문서를 읽을 때 빈 공간은 과감히 버리고, 글자만 골라내되 '어디에 있었는지'라는 주소는 절대 잊지 말자. 그래야 AI 는 더 빠르고 정확하게 문서를 이해할 수 있다."

이 기술은 앞으로 우리가 스마트폰이나 서버에서 문서를 처리할 때, 더 빠르고 저렴하게 정보를 추출할 수 있게 해줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM) 은 문서 레이아웃 파싱, 핵심 정보 추출 (KIE), 시각적 질문 응답 등 문서 이해 작업에서 뛰어난 성능을 보여주고 있습니다.
• 문제: 고해상도 문서 이미지를 처리하는 것은 계산 비용이 매우 높습니다. 특히 문서 이미지는 텍스트가 있는 영역 (전경) 과 여백이나 배경 (배경) 이 명확히 구분되는데, 기존 VLM 은 이러한 불필요한 배경 패치까지 모두 처리하여 연산 효율이 낮습니다.
• 기존 방법의 한계: 컴퓨터 비전 분야에서 제안된 토큰 가지치기 (Token Pruning) 또는 병합 (Merging) 기법들은 객체 인식이나 분류 작업에는 효과적이지만, 문서 이해 작업에서는 적용 시 문제가 있습니다.
  • 텍스트 인식은 토큰의 공간적 위치 (Spatial Correspondence) 정보가 매우 중요하기 때문입니다.
  • 기존 방법들이 토큰을 무작위로 제거하거나 순서를 섞으면, 디코더가 텍스트의 위치 정보를 잘못 인식하여 성능이 급격히 저하됩니다.

2. 제안 방법론 (Methodology)

저자들은 문서 이해를 위해 비전 인코더 (Vision Encoder) 이전 단계에서 작동하는 경량화된 토큰 가지치기 프레임워크를 제안합니다. 이 프레임워크는 크게 세 가지 핵심 구성 요소로 이루어집니다.

가. 경량 텍스트 영역 분류기 (Lightweight Text-Region Classifier)

• 이미지 패치 단위로 이진 분류 (Binary Classification) 를 수행하여 각 패치가 '텍스트 영역 (전경)'인지 '배경'인지 판단합니다.
• 특징: 기존 방법들과 달리 비전 인코딩이나 언어 디코딩이 시작되기 **전 (Pre-encoder)**에 불필요한 배경 패치를 제거하여, 이후 단계의 계산 부하를 근본적으로 줄입니다.

나. 인덱스 보존 토큰 가지치기 (Index-Preserving Token Pruning)

• 핵심 아이디어: 가지치기 후에도 남은 토큰의 원래 인덱스 (Original Indices) 를 유지합니다.
• 이유: 문서 이해 작업에서 토큰의 위치 정보는 텍스트 내용과 레이아웃 구조를 이해하는 데 필수적입니다. 인덱스를 유지하지 않으면 디코더가 불규칙하게 연결된 패치를 받아 위치 정보가 왜곡되어 텍스트 인식 성능이 떨어집니다.
• 작동 방식: 분류기를 통해 선택된 전경 패치들을 원래의 인덱스 정보와 함께 VLM 에 전달합니다.

다. 최대 풀링을 통한 전경 정제 (Foreground Refinement with Max-Pooling)

• 문제: 패치 단위 분류기는 텍스트 영역의 일부가 누락되거나 조각나는 (Fragmented) 현상을 일으킬 수 있습니다.
• 해결: 이진 마스크에 Max-Pooling 연산을 적용하여 공간적 연속성을 강화합니다. 이를 통해 분류기가 놓친 인접한 텍스트 영역을 복구 (Recover) 하고, 텍스트 블록의 일관성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 초기 단계 가지치기: 비전 인코더 전에 불필요한 배경을 제거하여 계산 효율을 극대화합니다.
2. 인덱스 보존 전략: 문서 이해의 핵심인 공간적 대응 관계를 유지하기 위해 토큰 인덱스를 보존하는 것이 성능에 결정적임을 증명했습니다.
3. 경량화 및 정제: 간단한 이진 분류기와 Max-Pooling 만으로 높은 효율을 달성하며, 복잡한 모델 수정 없이 기존 오프 - 더 - 설프 (Off-the-shelf) VLM 에 적용 가능합니다.

4. 실험 결과 (Results)

실험은 Qwen2.5-VL 모델을 기반으로 CC-OCR 데이터셋 (LaTeX 수식, HTML 테이블, 영수증 등) 에서 수행되었습니다.

• 계산 효율성 (FLOPs Reduction):
  • 가지치기만 적용 시: 평균 **65.7%**의 시각 토큰 감소.
  • 가지치기 + Max-Pooling 적용 시: 40~60% 의 FLOPs 감소.
  • 특히 배경이 많은 영수증 (SROIE, CORD) 데이터셋에서는 약 80% 까지 FLOPs 가 감소했습니다.
• 성능 유지 (Accuracy):
  • 가지치기만 적용 시: 문서 파싱 (ANLS) 및 정보 추출 (F1) 성능이 크게 저하됨 (최대 31%p 감소). 이는 누락된 텍스트 영역이 모델에 치명적임을 보여줍니다.
  • 가지치기 + Max-Pooling 적용 시: 성능 저하가 크게 완화됨.
    • 문서 파싱: ANLS 점수 최대 3%p 이내의 감소 (또는 개선).
    • 정보 추출: SROIE 데이터셋에서는 성능이 거의 변함없이 유지됨.
• 기존 방법 비교:
  • ToMe (토큰 병합): 토큰 순서를 섞어 인덱스 구조가 무너져 텍스트 인식 성능이 극도로 낮아짐 (ANLS 8.8 vs 제안 방법 61.8).
  • DocKylin: 배경과 전경의 시각적 패턴이 유사할 때 가지치기 성능이 떨어짐.
  • 인덱스 전략 비교: 토큰 인덱스를 일정하게 하거나 (Constant), 무작위로 (Random) 할당하는 경우 성능이 매우 낮으며, **원래 인덱스를 보존 (Preserved)**하는 경우에만 높은 성능을 유지함.

5. 의의 및 결론 (Significance)

• 효율적인 문서 분석: 고해상도 문서 이미지를 처리할 때 발생하는 막대한 계산 비용을 40~60% 절감하면서도, 문서 이해의 정확도는 거의 유지할 수 있는 방법을 제시했습니다.
• 문서 이해의 본질 규명: 비전 - 언어 모델에서 문서 이해를 수행할 때, 단순히 토큰을 줄이는 것뿐만 아니라 토큰의 공간적 인덱스를 보존하는 것이 성능 유지에 필수적임을 실증했습니다.
• 실용성: 복잡한 모델 구조 변경 없이 경량 분류기와 간단한 후처리 (Max-Pooling) 만으로 구현 가능하여, 실제 배포 환경에서의 VLM 효율화 솔루션으로 큰 잠재력을 가집니다.

이 논문은 문서 이해를 위한 VLM 의 효율성 문제를 해결하기 위해 **"배경 제거"**와 **"위치 정보 보존"**이라는 두 가지 핵심 원리를 결합한 실용적인 프레임워크를 성공적으로 제안했습니다.