Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

1. 문제 정의 (Problem)

시각적 문서 이해 (Visual Document Understanding, VDU) 는 대형 비전 - 언어 모델 (LVLM) 에게 시각적 지각, 텍스트 인식, 구조화된 레이아웃에 대한 추론을 통합해야 하는 까다로운 작업입니다. 최근 LVLM 은 VDU 벤치마크에서 성과를 보이고 있지만, 기존 평가 방식은 주로 생성된 응답 (Response) 의 정확도에만 의존합니다.

그러나 응답의 정확도가 높다고 해서 모델이 내부적으로 필요한 정보를 완전히 포착하고 있다는 것을 보장하지는 않습니다. 최근 연구들은 모델의 내부 표현 (Internal Representations) 이 생성된 응답보다 더 풍부한 정보를 포함할 수 있음을 시사합니다. 본 논문은 VDU 작업에서 모델이 내부적으로 정보를 얼마나 잘 인코딩하고 있는지, 그리고 그 정보가 최종 응답으로 얼마나 잘 반영되는지 분석하여 내부 표현과 생성된 응답 사이의 간극 (Gap) 을 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

가. 선형 프로빙 (Linear Probing) 분석

저자들은 LVLM 내의 LLM 레이어별 내부 표현을 분석하기 위해 선형 프로빙 기법을 적용했습니다.

• 데이터셋 및 태스크: VDU 의 다양한 측면을 평가하기 위해 4 가지 이진 분류 태스크를 구성했습니다.
  1. 시각 속성 인식 (Visual attributes recognition): 색상, 모양 등 (easy-VQA).
  2. 단어 인식 (Word recognition): 이미지 내 텍스트의 철자 확인 (MJSynth).
  3. 구조 이해 (Structure understanding): 문서 구성 요소 (제목, 표 등) 식별 (PubLayNet).
  4. 도표 이해 (Figure understanding): 차트 내 요소 간 관계 추론 (FigureQA).
• 프로빙 설정: 각 레이어에서 추출한 은닉 상태 (Hidden States) 를 기반으로 이진 분류기를 학습시켰습니다. 입력 토큰 유형으로는 이미지 토큰, 텍스트 토큰, 전체 토큰, 마지막 토큰 (last-token) 을 구분하여 분석했습니다.
• 평가 지표:
  • 선형 프로빙 정확도 ($A_{LP}$): 각 레이어의 표현에서 정답을 얼마나 선형적으로 분류할 수 있는지.
  • 응답 정확도 ($A_{resp}$): 모델이 생성한 텍스트 응답의 정확도.
  • 간극 (Gap): $\text{Gap} = \max_{l \in L} A_{LP}(l) - A_{resp}$. 이는 내부 표현에 존재하는 정보가 응답 생성에 활용되지 못하는 정도를 나타냅니다.

나. 중간 레이어 타겟 미세 조정 (Fine-tuning)

분석 결과를 바탕으로, 간극을 줄이기 위해 중간 레이어 (Intermediate Layers) 를 타겟으로 한 미세 조정 전략을 실험했습니다.

• 레이어 그룹화: 선형 프로빙 정확도가 급격히 상승하는 지점을 기준으로 레이어를 'Lower', 'Middle', 'Upper' 그룹으로 나누었습니다.
• 실험 설정:
  • Single-step: 특정 레이어 그룹 (예: Middle) 또는 인접 그룹 (예: Lower-Middle) 을 한 번에 미세 조정.
  • Two-step: 순차적으로 다른 레이어 그룹을 미세 조정 (예: Lower $\to$ Middle).
• 비교 대상: 전체 레이어 미세 조정 (All-layer fine-tuning) 과 비교하여 성능과 효율성을 평가했습니다.

3. 주요 기여 (Key Contributions)

1. LVLM 의 계층별 선형 프로빙 분석: VDU 작업에서 LVLM 내부 표현을 레이어별로 상세히 분석한 최초의 연구 중 하나입니다.
2. 내부 표현과 응답 간의 간극 규명: VDU 작업에서도 모델이 내부적으로 정보를 잘 인코딩하고 있음에도 불구하고, 이를 응답으로 완전히 표현하지 못한다는 '간극'이 존재함을 증명했습니다. 또한, 전체 레이어 미세 조정만으로는 이 간극이 완전히 해소되지 않음을 보였습니다.
3. 중간 레이어의 중요성 발견: VDU 문제 해결에 필요한 정보가 최종 레이어가 아닌 중간 레이어에서 가장 선형적으로 인코딩되어 있음을 발견했습니다.
4. 효율적인 미세 조정 전략 제안: 선택된 중간 레이어를 미세 조정하는 것이 응답 정확도를 높이고 내부 표현과 응답 간의 간극을 줄이는 데 가장 효과적임을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

가. 분석 결과 (Section 4)

• 간극의 존재: 모든 모델과 태스크에서 최대 선형 프로빙 정확도는 응답 정확도를 상회했습니다. 즉, 모델은 내부적으로 정답을 알고 있음에도 불구하고 이를 출력하지 못했습니다.
• 토큰 유형별 차이: '마지막 토큰 (last-token)'이 다른 토큰 유형보다 더 높은 선형 프로빙 정확도를 보였습니다.
• 레이어별 인코딩 패턴:
  • 객체 수준 인식 (Visual attributes, Word recognition) 태스크에서는 중간 레이어에서 정확도가 급격히 상승했습니다.
  • 관계 추론 (Structure, Figure understanding) 태스크는 상대적으로 인코딩이 어려웠으나, 여전히 중간 레이어에서 가장 높은 정보를 제공했습니다.
  • 중요한 발견: 가장 높은 정확도를 보이는 레이어는 종종 최종 레이어가 아닌 중간 레이어였습니다. 이는 최종 레이어가 다음 토큰 예측에 최적화되면서 초기의 정답 신호가 희석되거나 변형되었을 가능성을 시사합니다.

나. 미세 조정 실험 결과 (Section 5)

• 전체 미세 조정의 한계: 전체 레이어를 미세 조정 (All-layer) 한 경우 응답 정확도는 향상되었으나, 내부 표현과 응답 간의 간극은 완전히 줄어들지 않았습니다.
• 중간 레이어 미세 조정의 효과:
  • Middle 레이어 또는 Lower-Middle (L-M) 레이어를 미세 조정했을 때 응답 정확도와 선형 프로빙 정확도 모두에서 가장 좋은 성능을 보였습니다.
  • 특히 간극 (Gap) 을 가장 크게 줄인 전략은 중간 레이어를 타겟으로 한 미세 조정 (예: M $\to$ L, L $\to$ M 등) 이었습니다.
• 효율성: 전체 레이어를 조정하는 것보다 선택된 중간 레이어만 조정하는 것이 학습 파라미터 수와 시간을 약 20~35% 절감하면서도 동등하거나 더 나은 성능을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LVLM 이 VDU 작업에서 수행하는 추론 과정에 대한 새로운 통찰을 제공합니다.

1. 평가 패러다임의 확장: 단순히 생성된 텍스트의 정확도만 평가하는 것이 아니라, 모델의 내부 표현 (Internal Representations) 을 분석하여 모델이 실제로 무엇을 '이해'하고 있는지 평가해야 함을 강조합니다.
2. 모델 설계 및 학습 전략: VDU 와 같은 복잡한 다중 모달 작업에서 최종 레이어가 아닌 중간 레이어가 핵심 정보를 인코딩한다는 점은, 모델 아키텍처 설계나 미세 조정 전략을 수립할 때 중간 레이어를 중점적으로 고려해야 함을 시사합니다.
3. 실용적 가치: 불필요한 전체 레이어 미세 조정 대신, 분석을 통해 식별된 중요한 중간 레이어만 선택적으로 조정함으로써 비용 효율적이고 간극이 적은 모델을 구축할 수 있음을 증명했습니다.

결론적으로, 본 연구는 LVLM 의 '이해 (Understanding)'와 '표현 (Response)' 사이의 불일치를 정량화하고, 이를 해결하기 위한 구체적인 레이어 기반 미세 조정 전략을 제시함으로써 신뢰성 있고 해석 가능한 비전 - 언어 모델 개발에 기여합니다.