Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

이 논문은 대규모 시각 - 언어 모델에서 노드와 구조적 정보는 시각 인코더 단계에서 선형적으로 표현되지만, 엣지 정보는 언어 모델의 토큰 단계까지 지연되어 표현된다는 사실을 규명함으로써, 관계 이해의 어려움이 엣지 정보의 지연된 표현 기제에서 비롯됨을 시사합니다.

핵심

이 논문은 **"대형 시각-언어 모델 (LVLM) 이 도표를 볼 때, 실제로 무엇을 보고 무엇을 놓치고 있는지"**를 해부한 연구입니다.

쉽게 비유하자면, AI 가 도표를 볼 때 '점 (노드)'은 잘 보지만, 점과 점 사이를 잇는 '화살표 (엣지)'는 보지 못하거나 늦게 알아차린다는 놀라운 사실을 발견한 이야기입니다.

이 연구의 핵심 내용을 일상적인 언어와 비유로 설명해 드릴게요.

---

🎨 1. 연구 배경: AI 는 도표를 잘 볼까?

우리는 AI 가 복잡한 도표 (유도, 흐름도, 네트워크图等) 를 잘 이해할 것이라고 믿습니다. 실제로 AI 는 도표의 내용을 설명하는 데는 꽤 능숙합니다. 하지만 "A 와 B 를 잇는 화살표의 방향은 어느 쪽이야?" 같은 질문을 하면 AI 는 자주 틀립니다.

왜 그럴까요? AI 가 도표를 어떻게 '생각'하고 있는지 그 내부 과정을 들여다보기 위해 연구팀은 인위적으로 만든 단순한 도표 (합성 데이터) 를 사용했습니다. 마치 수학 문제를 풀기 위해 복잡한 실제 상황 대신, 오직 'A+B=C'만 반복되는 연습 문제를 만들어 AI 의 뇌를 검사한 것과 같습니다.

🔍 2. 주요 발견: "점은 빠르고, 선은 늦다" (Nodes Are Early, Edges Are Late)

연구팀은 AI 의 뇌 (내부 레이어) 를 단계별로 쪼개어 정보를 어떻게 처리하는지 관찰했습니다. 여기서 발견한 놀라운 차이는 다음과 같습니다.

🟢 점 (노드) 정보: "초고속 처리"

• 비유: 도표에 있는 색깔이 빨간 공이나 네모 모양 같은 '점'의 정보는 AI 의 **시각 부분 (Vision Encoder)**에서 아주 초기에, 즉 눈이 대충 보는 단계에서 이미 명확하게 인식됩니다.
• 현실: "A 는 빨간색이야", "B 는 네모야" 같은 정보는 AI 의 시각 처리기가 바로 잡습니다. 마치 우리가 그림을 볼 때 사물의 모양과 색깔을 순식간에 알아보는 것과 같습니다.

🔴 선 (엣지) 정보: "늦은 도착"

• 비유: 점과 점 사이를 잇는 화살표나 선의 정보는 시각 부분에서는 아직 잡히지 않거나, 선명하지 않습니다. 이 정보는 시각 처리기를 통과한 후, 언어 모델 (Language Model) 부분으로 넘어가서 문장을 읽는 단계에서야 비로소 명확해집니다.
• 현실: "A 에서 B 로 가는 화살표가 있어"라는 정보는 AI 가 그림을 보고 끝낸 후, **"이제 이 그림을 언어로 해석해볼까?"**라고 생각할 때야 비로소 깨닫습니다. 마치 그림을 보고 "아, 저건 사람이다"는 바로 알지만, "저 사람이 누구를 보고 있는가?"는 그 사람의 표정이나 문맥을 분석해야 나중에야 알 수 있는 것과 같습니다.

🧠 3. 왜 이런 일이 일어날까? (AI 의 사고 과정)

이 연구는 AI 가 도표를 이해하는 방식이 두 단계로 나뉘어 있다고 설명합니다.

1. 시각 단계 (눈): 사물의 모양, 색깔, 개수 같은 **'개별적인 사실'**을 빠르게 인식합니다.
2. 언어 단계 (뇌): 점과 점 사이의 **관계 (화살표 방향, 연결성)**는 시각 정보만으로는 부족하고, **문맥과 논리 (언어적 추론)**가 필요하기 때문에 언어 모델 단계로 넘어가서야 처리됩니다.

결론: AI 가 화살표 방향을 틀리는 이유는, 화살표라는 정보가 그림을 보는 '눈' 단계에서는 선명하게 잡히지 않고, 나중에 '생각'하는 단계로 넘어가야만 선명해지기 때문입니다. 이 시간 차이 (지연) 때문에 AI 는 관계 파악에 서툽니다.

🛠️ 4. 실험 방법: AI 의 뇌를 '수술'하다

연구팀은 단순히 관찰만 한 게 아니라, AI 의 뇌를 인위적으로 조작해 보았습니다.

• 수술: AI 가 그림을 볼 때, '점 (노드)' 정보를 잘 인식하는 부위의 신경 신호를 일부러 흐리게 만들었습니다.
• 결과: 그랬더니 AI 가 "A 는 무슨 색깔이야?" 같은 질문을 못하게 되었습니다. 즉, 시각 단계에서 인식된 정보가 실제로 정답을 내는 데 결정적인 역할을 한다는 것을 증명했습니다.
• 반면, 화살표 방향 같은 정보는 시각 단계에서 조작해도 큰 영향이 없었습니다. 이는 화살표 정보가 시각 단계가 아니라, 나중에 언어 단계에서 처리된다는 것을 다시 한번 확인시켜 주었습니다.

💡 5. 이 연구가 우리에게 주는 교훈

이 연구는 AI 가 도표를 이해할 때 **"무엇을 먼저 보고, 무엇을 나중에 생각하는지"**를 명확히 보여줍니다.

• 현재의 한계: AI 는 도표의 '사물'은 잘 보지만, '관계'를 파악하는 데는 여전히 어려움을 겪고 있습니다.
• 미래의 방향: 앞으로 더 똑똑한 도표 이해 AI 를 만들려면, 시각 단계에서부터 '관계 (화살표)' 정보를 더 잘 인식할 수 있도록 모델을 설계해야 합니다. 즉, "눈"이 "관계"까지 볼 수 있게 훈련시켜야 한다는 뜻입니다.

📝 한 줄 요약

"AI 는 도표의 '점 (사물)'은 눈으로 바로 보지만, '선 (관계)'은 언어로 생각할 때나 알아차립니다. 그래서 화살표 방향 같은 관계 파악은 여전히 AI 가 가장 어려워하는 부분입니다."

기술 요약

이 논문은 **대형 비전-언어 모델 (LVLMs)**이 다이어그램 (도식) 을 이해할 때 직면하는 한계, 특히 **노드 (nodes)**와 방향성 엣지 (directed edges, 화살표/선) 간의 관계 이해 부족의 원인을 내부 표현 (internal representations) 관점에서 분석한 연구입니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현황: LVLM 들은 다이어그램 이해 벤치마크에서 전반적으로 좋은 성능을 보이지만, 화살표나 선으로 표현된 **요소 간의 관계 (relational information)**를 이해하는 데에는 여전히 어려움을 겪습니다.
• 문제: 기존 연구들은 LVLM 이 이러한 관계 정보를 왜 제대로 파악하지 못하는지에 대한 근본적인 원인을 규명하지 못했습니다. 특히 다이어그램의 기본 요소인 '노드', '엣지', '전체 구조'가 모델 내부에서 어떻게 표현되고 처리되는지에 대한 체계적인 분석이 부족했습니다.

2. 연구 방법론 (Methodology)

저자들은 LVLM 의 내부 표현을 분석하기 위해 다음과 같은 방법론을 사용했습니다.

• 합성 다이어그램 데이터셋 구축:
  • 자연어 및 자연 이미지 데이터의 편향을 제거하고 통제된 분석을 위해, 방향성 그래프 (directed graphs) 를 기반으로 한 합성 데이터셋을 제작했습니다.
  • 데이터셋은 5 개의 노드와 엣지로 구성되며, 노드 색상/모양, 엣지 색상/스타일/방향/유무, 노드/엣지 개수 등 **11 가지 평가 요소 (Aspects)**를 정밀하게 제어할 수 있습니다.
  • 노드 배치를 무작위로 하는 Drand 와 고정된 Dfix 두 가지 변형을 사용하여 위치 편향을 통제했습니다.
• 프로빙 (Probing) 분석:
  • 모델의 각 레이어 (비전 인코더 및 언어 모델) 의 숨겨진 상태 (hidden states) 에서 특정 정보 (예: 노드 색상, 엣지 방향) 가 **선형적으로 분리 가능 (linearly separable)**한지 확인하기 위해 선형 분류기 (linear classifier) 를 학습시켰습니다.
  • 정보가 선형적으로 인코딩되어 있다는 것은 모델이 해당 정보에 쉽게 접근할 수 있음을 의미합니다.
• 인과적 개입 (Causal Intervention):
  • 프로빙을 통해 높은 정확도로 정보가 인코딩된 것으로 확인된 패치 (image patches) 의 숨겨진 상태를 평균 벡터로 대체 (corrupt) 하는 실험을 수행했습니다.
  • 이를 통해 해당 정보가 모델의 최종 추론 (VQA 성능) 에 인과적으로 기여하는지 검증했습니다.

3. 주요 발견 및 결과 (Key Results)

논문의 제목인 **"Nodes Are Early, Edges Are Late"**가 핵심 결론을 요약합니다.

• 노드 정보와 글로벌 구조는 '이른' 단계 (Vision Encoder) 에서 인코딩됨:
  • **노드 정보 (색상, 모양 등)**와 **글로벌 정보 (노드 개수 등)**는 **비전 인코더 (Vision Encoder)**의 단일 이미지 패치 (image patch) 에서 이미 선형적으로 인코딩되어 있었습니다.
  • 특히 노드 정보는 해당 노드가 위치한 패치 주변에 국소화되어 있었고, 글로벌 정보는 배경 영역을 포함한 넓은 영역에 분산되어 있었습니다.
• 엣지 정보는 '늦은' 단계 (Language Model) 에서만 인코딩됨:
  • **엣지 정보 (색상, 스타일, 방향 등)**는 비전 인코더에서는 선형적으로 분리되지 않았습니다.
  • 엣지 정보가 선형적으로 인코딩되기 시작하는 시점은 **언어 모델 (Language Model)**의 텍스트 토큰 (text tokens) 단계로 늦어졌습니다. 즉, 모델이 질문 텍스트를 처리하면서 이미지 정보를 텍스트 컨텍스트에 통합할 때 비로소 엣지 정보가 명확히 표현됩니다.
• 인과적 검증:
  • 비전 인코더에서 선형적으로 인코딩된 정보 (노드 속성, 노드 개수 등) 를 손상시키면 모델의 VQA 성능이 크게 저하되었습니다. 이는 해당 정보가 실제 추론에 사용됨을 의미합니다.
  • 반면, 엣지 방향성 등 비전 인코더에서 선형적으로 인코딩되지 않은 정보는 개입해도 성능 변화가 미미하거나, 모델이 비선형적 인코딩이나 다른 메커니즘에 의존하고 있음을 시사합니다.

4. 기여도 및 의의 (Contributions & Significance)

• 내부 표현의 차이 규명: LVLM 이 다이어그램의 서로 다른 요소 (노드 vs 엣지) 를 처리하는 시점과 방식이 근본적으로 다르다는 것을 최초로 체계적으로 증명했습니다.
• 관계 이해 실패의 원인 설명: LVLM 이 엣지 방향성 등을 이해하는 데 어려움을 겪는 이유는, 엣지 정보가 비전 인코더 단계에서 명확하게 분리되지 않고, 추상적이고 구성적 (compositional) 인 통합 과정이 필요한 언어 모델 단계로 늦게 전달되기 때문임을 설명합니다.
• 향후 시스템 설계 가이드: 다이어그램 이해 시스템의 성능을 향상시키기 위해서는 엣지 관계 정보를 비전 인코더 단계에서 더 효과적으로 추출하거나, 언어 모델 단계에서의 통합 메커니즘을 개선해야 함을 시사합니다.

5. 결론

이 연구는 LVLM 이 다이어그램을 해석할 때 노드와 같은 국소적/전역적 정보는 시각적 특징 추출 단계 (Vision Encoder) 에서 바로 처리되지만, 엣지와 같은 관계적 정보는 언어적 추론 단계 (Language Model) 로 넘어가야 비로소 명확해진다는 사실을 발견했습니다. 이는 모델이 왜 복잡한 관계 구조를 이해하는 데 한계가 있는지에 대한 중요한 통찰을 제공하며, 향후 더 정확한 다이어그램 분석 모델 개발을 위한 방향성을 제시합니다.