기술 요약: GraphVerse

문제 정의

멀티모달 대규모 언어 모델(MLLM)이 시각-언어 작업에서 급격한 발전을 이루었음에도 불구하고, 기존 벤치마크는 **시각적 그래프 추론(Visual Graph Reasoning, VGR)**을 적절히 평가하는 데 실패하고 있습니다. 현재의 평가 방식은 다음과 같은 네 가지 결정적인 한계를 가집니다:

1. 시각-텍스트 붕괴(Vision-to-Text Collapse): VGR을 시각적 인지 후 텍스트 기반 추론으로 축소시켜, 모델이 다이어그램을 기호적 그래프로 전사한 뒤 텍스트 도메인에서 문제를 풀게 함으로써 진정한 시각적 인지 과정을 우회하게 만듭니다.
2. 단일 이미지 제한: 증거가 여러 이미지에 분산되어 있는 현실적인 시나리오를 간과하여, 이미지 간 구조적 정렬(cross-image structural alignment) 능력을 테스트하지 못합니다.
3. 정답 위주의 메트릭: 최종 정답의 정확도에만 의존하여 중간 추론 행동을 무시하며, 이로 인해 실패 원인을 진단하기 어렵게 만듭니다.
4. 생태적 타당성 부족: 질문들이 실제 상황에 근거한 상황적 문제라기보다 맥락이 결여된 알고리즘 템플릿인 경우가 많습니다.

핵심 연구 질문은 인지부터 시각 기반 및 텍스트 기반 추론에 이르기까지 시각적 그래프 이해를 엔드투엔드로 평가할 수 있으며, 최종 정확도를 넘어 진단적 신호를 제공할 수 있는 솔버 검증 가능(solver-verifiable) 벤치마크를 구축할 수 있는가 하는 것입니다.

방법론

1. GraphVerse 벤치마크 구축

GraphVerse는 인지, 시각적 추론, 텍스트 기반 그래프 추론을 공동으로 평가하도록 설계된 통합 벤치마크입니다.

• 데이터 큐레이션: 이 벤치마크는 실제 세계의 그래프 소스(예: 인용 네트워크, 소셜 네트워크, 교통 경로, 분자 그래프)에 기반합니다. 서브그래프는 재시작 랜덤 워크(random walks with restart)를 사용하여 추출되며 GraphViz를 통해 시각화됩니다.
• 모달리티 분리(Modality Disentanglement): 지름길(shortcut) 이용을 방지하기 위해, 모든 그래프 관련 정보(구조, 속성)는 이미지에 렌더링되는 반면, 쿼리는 텍스트로만 제공됩니다.
• 태스크 분류 체계: 태스크는 시각적 컨텍스트의 카디널리티(cardinality)에 따라 분류됩니다:
  • 단일 이미지 VGR: 렌더링된 단일 그래프 상에서의 추론 (예: 최단 거리, 지름, 외판원 문제, 최대 클리크, 그래프 채색).
  • 쌍 이미지 비교 VGR: 두 개의 그래프 이미지를 분석하여 대응 관계나 차이점을 추론 (예: 그래프 편집 거리, 최대 공통 부분 그래프).
• 복잡도: 태스크는 다항 시간(Poly) 문제와 NP-난해(NPH) 문제를 포괄하며, NPH 태스크는 종종 이진 답변보다는 최적화 변형을 요구합니다.

2. 그래프 중심 이미지 편집(GIE) 전략

모델이 일회성 인지를 넘어 진정한 시각적 추론을 수행하도록 강제하기 위해, GraphVerse는 의미론을 유지하면서 그래프 이미지를 수정하는 네 가지 편집 전략을 도입합니다:

• 이미지-그래프 패치 섭동(Image-Graph Patch Perturbation): 이미지 패치를 무작위로 뒤집거나 교체하여 시각적 연속성을 깨뜨림으로써, 모델이 국소적 손상에도 불구하고 기저의 토폴로지를 재구성하도록 요구합니다.
• 교차 그래프 합성(Cross-Graph Composition): 하나의 그래프를 두 개의 서로 소인 서브그래프로 나누어 별도의 이미지로 렌더링하고, 프롬프트에 교차 연결(cross-links)을 제공합니다. 모델은 전체 구조를 구성하기 위해 이미지 간의 노드를 결합해야 합니다.
• 그래프 주의 집중(Graph Attentional Focusing): 타겟이 되는 연결된 서브그래프에 특정 색상을 할당하고 방해 요소(다른 단색 컴포넌트)를 생성하여, 모델이 올바른 서브그래프에 선택적으로 주의를 기울이도록 합니다.
• 공간 조건부 재채색(Spatially-Conditioned Recoloring): 공간적 관계(예: "앵커 위의 노드")에 기반하여 재채색을 강제함으로써, 단순한 텍스트 기반 패턴 매칭이 아닌 공간 추론을 유발합니다.

3. 평가 프로토콜: VGR-Score

정답 위주의 메트릭을 넘어, GraphVerse는 프로세스 민감형 평가 메트릭인 VGR-Score를 제안합니다.

• 메커니즘: 스코어링 에이전트(LLM)가 프로그램적으로 복구된 그래프 증거(언어화된 인접 행렬 및 GIE 작업으로부터의 구조적 변화)를 바탕으로 모델의 출력을 평가합니다.
• 스코어링: 에이전트는 핵심 추론 단계를 추출하고, 이를 그라운드 트루스(ground-truth) 증거와의 일관성에 대해 점수를 매깁니다.
• 공식: $Score = \lambda R_{step} + (1 - \lambda) I[\hat{y} \in A^*]$ 이며, 여기서 $R_{step}$은 단계별 일관성 점수, $\hat{y}$는 최종 정답, $\lambda$ (0.7로 설정)는 최종 정답의 정확도보다 과정의 정확도에 더 높은 가중치를 부여합니다.

주요 결과

현재 MLLM의 성능

19개의 MLLM(OpenAI, Google 및 오픈 소스 모델 포함)에 대한 광범한 실험 결과, 상당한 한계가 드러났습니다:

• 일반적 고전: 최첨단 모델(예: Gemini-3-Pro, GPT-5.2)조차도 태스크 전반에 걸쳐 인간 베이스라인보다 평균 35% 뒤처지는 등 개선의 여지가 큽니다.
• 쌍 이미지 결핍: 모든 모델은 단일 이미지 설정에 비해 쌍 이미지 VGR에서 현저히 낮은 성능을 보입니다. 예를 들어, Gemini-3-Pro는 쌍 이미지 태스크에서 정확도가 50% 이상 하락합니다.
• 시각적 vs 이론적 복잡도: NP-난해 태스크가 일반적으로 더 어렵지만, 난이도는 요구되는 시각적 추론의 복잡성에 의해 더 강력하게 형성됩니다. 예를 들어, "사이클(Cycle)" 탐지 태스크(NPH)는 거의 95%의 모델이 해결할 수 있어 일부 다항 시간 태스크보다 높은 정확도를 보이는데, 이는 제한된 시각적 추론 요구사항이 이론적 복잡성에도 불구하고 태스크를 쉽게 만들 수 있음을 시사합니다.
• 과정 vs 정확도 불일一치: 최종 정답 정확도는 추론의 결함을 가릴 수 있습니다. 어려운 태스크의 경우, 모델은 높은 VGR-Score(부분적으로 올려 정답을 맞힘)를 유지하면서도 정답 정확도는 거의 zero에 가깝거나, 반대로 높은 정확도를 가지면서도 낮은 VGR-Score(불안정하거나 비충실한 추론)를 보이는 경우가 발생합니다.

실패 모드 분석

수동 분류 결과, **시각 기반 추론(Vision-Based Reasoning, VR)**이 주요 실패 모드로 나타났으며, 대표 모델들의 오류 중 약 50%를 차지했습니다. 모델이 발전함에 따라 인지 오류는 감소하지만, VR 오류가 점점 더 지배적이 되어 시각적 추론이 주요 병목 구간임을 확인시켜 줍니다.

개선 및 전이 가능성

• 훈련 전략: 훈련이 필요 없는 방법(Program-of-Thoughts 프롬프팅)과 훈련 기반 방법(지도 미세 조정 및 강화 학습) 모두 성능을 향상시킵니다. GIE로 증강된 데이터로 강화 학습(RL)을 수행했을 때 가장 큰 이득을 얻었으며, 특히 대규모 모델에서 효과적이었습니다.
• 전이 가능성: GraphVerse에서 습득한 추론 기술은 도메인 외(out-of-domain) 태스크로 전이됩니다. GIE 전략으로 훈련된 모델은 MathVista 벤치마크에서 향상된 성능을 보여주었으며, 이는 GraphVerse가 특정 그래프 지식이 아닌 일반화 가능한 추론 능력을 가르친다는 것을 시사합니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. GraphVerse 벤치마크: MLLM의 인지, 시각적 추론, 텍스트 기반 그래프 추론을 실질적인 근거와 함께 단일 이미지 및 쌍 이미지 설정을 아우르며 공동 평가하는 최초의 통합 벤치마크입니다.
2. VGR-Score: 최종 정답 정확도를 넘어 추론 품질을 평가하고 모델 실패에 대한 진단 신호를 제공하는 새로운 프로세스 민감형 메트릭입니다.
3. GIE 전략: 그래프 이미지를 시각적 추론의 능동적인 테스트로 변환하여 지름길(shortcut) 이용을 효과적으로 방지하는 새로운 구조 인식 편집 프레임워크입니다.
4. 체계적 평가: 19개의 MLLM에 대한 포괄적인 분석을 통해 강력한 베이스라인을 구축하고, 시각적 추론 오류의 지배력을 밝히며, VGR을 통해 습득한 기술의 전이 가능성을 입증했습니다.

저자들은 Graph-Verse를 구조화된 시각적 추론에 대한 MLLM의 능력을 더욱 충실하고 포괄적으로 평가하기 위한 필수적인 단계로 정의하며, 현재의 벤치마크와 진정한 시각적 그래프 이해 사이의 간극을 메우고자 합니다.