기술 요약: 시각적 텍스트 생성에서의 추론 충실도(Reasoning Fidelity) 평가

문제 정의

최근 텍-투-이미지(Text-to-Image, T2I) 모델들이 가독성 있고 구조화된 텍스트를 렌더링하는 데 있어 상당한 진전을 이루어 문서 및 슬라이드 생성과 같은 응용 분야를 가능하게 했으나, 추론 충실도(reasoning fidelity) 측면에서는 결정적인 격차가 존재한다. 이러한 모델들이 솔루션이 렌더링된 텍스트를 통해 직접 표현되어야 할 때 복잡한 추론 과정을 충실히 보존할 수 있는지, 아니면 단순히 표면적인 패턴을 모방하는 것인지가 불분로하다. 현재의 평가는 주로 시각적 품질(예: OCR 정확도, 레이아웃 충실도)에 집중되어 있으며, 생성된 콘텐츠의 의미론적 정확성이나 논리적 일관성은 간과하고 있다. 본 논문은 T2I 모델이 다단계 솔루션을 시각적 텍스트로 외부화할 때, 텍스트 전용 대규모 언어 모델(LLM)에서 관찰되는 것과 동일한 의미론적 이해와 논리적 일관성을 유지하는지 조사한다.

방법론

저자들은 텍스트 렌더링 실패와 추론 실패를 분리하기 위해 설계된 진단적 평가 프레임워크를 제안한다. 방법론은 다음과 같은 계층적 프로토콜로 구성된다:

1. 예비 텍스트 렌더링 작업:

   • 모델은 WikiText의 구절을 사용하여 입력 텍스트를 이미지 형태로 정확하게 재현하도록 과제를 부여받는다.
   • 난이도를 조절하기 위해 입력 길이를 64, 128, 256, 512 단어로 제한한다.
   • 명확한 텍스트를 생성하지 못하는 모델은 후속 추론 평가에서 제외된다.
   • 지표로는 단어 에러율(WER), 문자 에러율(CER), 그리고 OCR 신뢰도(ACC)가 포함된다.

2. 고급 추론 작업:

   • 세 가지 별도의 작업이 이미지 공간에서의 추론 능력을 평가한다:
     • 사실적 지식(Factual Knowledge): 다지선다형 답변을 위해 추론 단계가 필요한 ARC 데이터셋의 질문들.
     • 문맥 이해(Context Understanding): 참조 해결(resolving references)이나 개수 세기 등 긴 지문에 대한 이산적 추론을 요구하는 DROP 데이터셋의 질문들.
     • 수학적 추론(Math Reasoning): 상세한 다단계 유도가 필요한 MATH 데이터셋의 경시대회 스타일 문제들.
   • 프롬프트에는 문맥, 질문, 그리고 중간 추론 단계와 최종 답변을 생성하라는 명시적 지침이 포함된다.

3. 평가 파이프라인:

   • 추출(Extraction): 생성된 이미지에서 PaddleOCR을 사용하여 텍스트를 추출한다(DeepSeek-OCR로 검증됨).
   • 점수 산정(Scoring): LLM 기반 판별기(GPT-5.2)가 추출된 텍스트를 평가한다.
     • 과정 점수 ($S_p$): 각 중간 추론 단계의 논리적 타당성을 평가한다.
     • 정답 점수 ($S_a$): 최종 답변의 정답 여부를 평가한다.
   • 베이스라인(Baselines): 성능을 텍스트 전용 LLM(GPT-5.2, Qwen3-8B) 및 다양한 T2I 모델(GPT-Image-1.5/2, Gemini-2.5-Flash-Image, Flux.2-Pro, Qwen-Image, SD-XL, TextDiffuser-2)과 비교한다.

주요 결과

실험 결과, 시각적 텍스트 생성 품질과 추론 충실도 사이에 상당한 격차가 있음이 드러났다:

• 렌더링 vs. 추론: 일부 모델(예: GPT-Image-2)은 높은 텍스트 렌더링 충실도를 달로하지만, 여전히 논리적 일관성에는 어려움을 겪는다. 반대로, 렌더링 성능이 낮은 모델(예: TextDiffuser-2, SDXL)은 인식 불가능한 출력물로 인해 초기 단계에서 제외된다.
• 성능 격차: 텍스트 전용 LLM은 모든 추론 작업에서 모든 T2I 모델을 압도한다. 예를 들어, GPT-5.2는 수학적 추론에서 0.934의 과정 점수를 기록한 반면, 가장 우수한 T2I 모델인 GPT-Image-2는 0.728을 기록했다.
• 과정 vs. 정답 불일치: T2I 모델은 종종 결함이 있거나 일관성이 없고 환각(hallucination)이 포함된 중간 추론 단계를 동반하면서도 정답($S_a$)은 맞추는 현상을 보인다. 이는 올바른 정답이 시각적 생성에서의 올바른 추론을 반드시 보장하지 않음을 시사한다.
• 난이도 스케일링: 작업의 난이도와 텍스트 길이가 증가함에 따라 성능이 지속적으로 저하된다. T2I 모델과 LLM 사이의 격차는 긴 문맥 이해와 복잡한 수학적 추론에서 가장 두드러진다.
• 오류 분석:
  • 렌더링 오류: 레이아웃 오버플로, 텍스트 흐림, 지침 위반, 환각된 추가 텍스트 등이 포함된다.
  • 추론 오류: 텍스트가 시각적으로 명확할 때도 발생한다. 흔한 양상은 논리적으로 일관되지 않은 연역, 환각된 중간 단계, 반복적인 추론 패턴 등이다.
  • OCR 영향: 절제 연구(Ablation studies) 결과, 추출 오류(OCR 선택)가 평가 결과에 미치는 영향은 제한적이며, 관찰된 실패는 생성 과정 자체의 고유한 특성임을 확인했다.

핵심 기여

1. 진단 프레임워크: 렌더링 충실도와 추론 충실도를 분리하여 시각적 텍스트 생성의 특정 실패 모드를 격리할 수 있는 계층적 평가 프로토콜을 도입하였다.
2. 포괄적 벤치마킹: 긴 텍스트 렌더링, 사실적 지식, 문맥 이해, 다단계 수학적 추용에 걸쳐 최첨단 폐쇄형 및 오픈 소스 T2I 모델들을 평가하였다.
3. 격차에 대한 실증적 증거: 강력한 렌더링 능력을 갖춘 T2I 모델이라 할지라도, 이미지로 외부화될 때 절차적 추론을 충실히 보존하지 못하며 시각적으로 명확한 텍스트에도 불구하고 논리적으로 일관되지 않은 궤적을 생성한다는 것을 입증하였다.
4. 오류 특성화: 렌더링 아티팩트(흐림, 레이아웃 문제)와 의미론적 추론 실패(논리적 불일치, 환각)를 구분하여 실패 모드를 상세히 분석하였다.

의의 및 주장

본 논문은 시각적 텍스트 생성 기술이 발전했음에도 불구하고, 렌더링 품질과 추론 충실도 사이에 상당한 격차가 존재한다고 주장한다. 저자들의 주장은 다음과 같다:

• 현재의 T2I 모델은 출력이 시각적 이미지여야 하는 엄격한 다단계 추론 작업에 신뢰하기 어렵다.
• 텍스트를 명확하게 렌더링하는 능력이 그 텍스트 내에서 올바르게 추론하는 능력과 동일한 것은 아니다.
• 성능 격차는 단순히 렌더링 품질이나 추출 오류만으로 설명될 수 없으며, 이는 시각적 모달리티에서 논리적 일관성을 유지하는 모델의 근본적인 한계를 반영한다.

이 연구는 더욱 신뢰할 수 있는 추론 인지적 시각적 텍스트 생성(reasoning-aware visual text generation) 및 평가 방법의 필요성을 촉구한다. 또한, 멀티모달 시스템이 문서 생성이나 인터페이스 에이전트와 같이 텍스트가 풍부한 시각적 출력을 점점 더 많이 생성함에 따라, 시각적 가독성만큼이나 의미론적 정확성과 논리적 일관성을 확보하는 것이 중요하다는 점을 강조한다. 저자들은 향-후 연구가 신뢰할 수 있는 긴 텍스트 렌더링과 충실한 추론 외부화를 수행할 수 있는 특화된 모델 또는 증류된 변체(distilled variants) 개발에 집중해야 한다고 제안한다.