PlotChain: Deterministic Checkpointed Evaluation of Multimodal LLMs on Engineering Plot Reading

1. 연구 배경 및 문제 정의 (Problem)

공학 실무에서는 보드 (Bode) 곡선, FFT 스펙트럼, 과도 응답, 응력 - 변형률 곡선 등 다양한 공학 플롯 (Engineering Plots) 을 통해 설계 검증, 시스템 문제 해결, 정량적 결과 전달이 이루어집니다. 그러나 기존 멀티모달 LLM 평가 벤치마크들은 다음과 같은 한계를 가집니다:

• 일반적인 차트 이해에 치중: 공학 특화 플롯 (예: 로그 스케일, 특정 공학 단위) 보다는 일반적인 인포그래픽이나 데이터 테이블 기반 차트에 집중합니다.
• 정확한 정답 (Ground Truth) 부재: OCR 기반 추출이나 자유형 캡션 생성에 의존하여, 렌더링된 픽셀에서 정확한 수치 값을 도출하는 능력을 정밀하게 평가하기 어렵습니다.
• 오류 진단의 부족: 최종 정답만 평가하여, 시각적 읽기 오류인지, 이후의 계산/추론 오류인지 구분할 수 없습니다.

이러한 한계를 극복하기 위해 저자는 PlotChain 을 제안하며, 공학 플롯 읽기에서 정확한 수치 추출과 파생량 계산 능력을 평가하는 새로운 벤치마크를 제시합니다.

2. 방법론 (Methodology)

A. 데이터셋 구성 (Benchmark Design)

• 생성 기반 (Generator-based): 15 가지 공학 플롯 패밀리 (예: Step Response, Bode Magnitude, Pump Curve 등) 에 대해 450 개의 플롯 (패밀리당 30 개) 을 생성합니다.
• 결정론적 정답 (Deterministic Ground Truth): 모든 플롯은 알려진 파라미터로부터 렌더링되며, 정답은 렌더링 과정과 동일한 파라미터를 기반으로 직접 계산됩니다. 따라서 OCR 오차나 인간 주석의 불확실성이 제거된 '정밀한 정답'을 확보합니다.
• 난이도 제어: 'Clean(명확)', 'Moderate(중간)', 'Edge(가독성 저하)' 세 가지 난이도로 구성되어 있으며, 눈금, 그리드, 축 범위 등을 변형하여 인간이 읽을 수 있는 수준에서 공학적 읽기 난이도를 극대화합니다.
• 형식: 자연어 질문과 함께 엄격한 JSON Numeric Schema로만 답변을 요구하여 자동화된 평가가 가능합니다.

B. 체크포인트 기반 진단 평가 (Checkpoint-based Diagnostics)

본 논문의 핵심 기여 중 하나입니다. 각 항목은 다음 두 가지 필드로 구성됩니다:

1. 최종 필드 (Final Fields): 최종 목표 수치 (예: 차단 주파수, 정착 시간).
2. 체크포인트 필드 (Checkpoint Fields, cp_*): 중간 단계의 읽기 값 (예: 특정 주파수에서의 진폭, 피크 값).
   • 이를 통해 모델이 시각적 읽기 (Perception) 는 잘하지만 추론/계산 (Reasoning) 에서 실패하는지, 혹은 그 반대의 경우를 정밀하게 진단할 수 있습니다.

C. 평가 프로토콜

• 모델: GPT-4.1, GPT-4o, Claude Sonnet 4.5, Gemini 2.5 Pro 등 4 가지 최상위 MLLM 평가.
• 설정: 재현성을 위해 Temperature = 0 (결정론적 디코딩) 및 고정된 토큰 버전을 사용.
• 점수 산정: 단순 문자열 매칭이 아닌, 허용 오차 (Tolerance) 기반 점수화. 공학자 눈으로 읽을 때의 정밀도 (절대 오차 및 상대 오차) 를 반영하여 'Pass/Fail'를 판단합니다.

3. 주요 기여 (Key Contributions)

1. 결정론적 공학 플롯 벤치마크: 렌더링 파라미터에서 직접 유도된 정밀한 정답을 가진 15 개 패밀리, 450 개 항목의 데이터셋 공개.
2. 체크포인트 진단 시스템: 최종 답뿐만 아니라 중간 단계 (cp_*) 를 평가하여 실패 원인 (시각 인식 vs 추론) 을 국소화 (Localization) 하는 새로운 평가 프레임워크.
3. 재현성 중심 아키텍처: 생성기 코드, 데이터셋, 원시 모델 출력, 체크섬이 포함된 매니페스트를 공개하여 다른 허용 오차 정책 하에서도 재평가 (Rescoring) 가 가능하도록 함.
4. 표준화된 평가 프로토콜: 엄격한 JSON 출력 및 허용 오차 기반 점수화를 통한 공정한 비교.

4. 실험 결과 (Results)

A. 전체 성능

• 최상위 모델: Gemini 2.5 Pro가 항목별 엄격한 전체 통과율 (Strict All-Pass) 에서 **72.0%**로 1 위를 기록했습니다.
• 후속 모델: GPT-4.1 (68.4%), Claude Sonnet 4.5 (61.3%) 이 뒤를 이었습니다.
• 하위 모델: GPT-4o 는 32.4% 로 상대적으로 낮은 성능을 보였습니다.
• 필드 수준: 개별 수치 필드 통과율은 상위 모델들이 78~80% 대를 기록했으나, 모든 필드를 동시에 맞추는 'Strict All-Pass'에서는 성능이 하락하여 오류 누적 효과를 보여줍니다.

B. 패밀리별 성능 및 병목 현상

• 강점: 저항 I-V 곡선 (100% 통과), 보드 크기/위상 곡선 등 단일 읽기나 명확한 기하학적 구조를 가진 플롯에서는 높은 성능을 보임.
• 약점 (병목): 주파수 영역 (Frequency-domain) 과 파생량 (Derived-quantity) 계산이 필요한 태스크에서 성능이 급격히 저하됨.
  • Bandpass Response: 모든 모델에서 7~23% 로 매우 낮음.
  • FFT Spectrum: 25~50% 수준으로 여전히 어려움.
  • 이는 여러 측정값 (예: -3dB 지점 두 개) 을 읽은 후 이를 조합하여 대역폭 등을 계산할 때 발생하는 오류 누적 (Compounding Error) 때문으로 분석됨.

C. 체크포인트 분석

• 일부 모델 (GPT-4o, Claude) 은 중간 체크포인트 필드는 잘 맞추지만 최종 파생량 계산에서 실패하는 경향이 있어, 계산/추론 단계의 취약성을 드러냄.
• 반면, Gemini 2.5 Pro 와 GPT-4.1 은 최종 필드에서 상대적으로 더 강세를 보여, 중간 읽기 오류가 최종 결과로 전파되는 정도가 적음을 시사함.

D. 지연 시간 (Latency) 대 정확도 트레이드오프

• Gemini 2.5 Pro: 가장 높은 정확도 (72.0%) 이지만 응답 시간이 길음 (20.66 초).
• GPT-4.1: 높은 정확도 (68.4%) 에 매우 빠른 응답 속도 (1.97 초) 를 보여 실용적 효율성이 뛰어남.
• GPT-4o: 빠르지만 (2.22 초) 정확도가 현저히 낮음.

5. 의의 및 결론 (Significance)

• 진단 도구로서의 가치: PlotChain 은 단순히 "얼마나 잘하는가"를 넘어, 어디서 실패하는가 (시각 인식 vs 추론) 를 구체적으로 파악할 수 있게 하여 모델 개선 방향을 제시합니다.
• 공학 AI 의 현실적 평가: OCR 이나 일반적인 차트 읽기를 넘어, 공학자가 실제로 수행하는 정량적 읽기와 계산 능력을 평가하는 표준을 마련했습니다.
• 재현성과 투명성: 생성기, 데이터, 원시 출력 등을 공개하여 향후 연구에서 다양한 허용 오차 정책 하에서도 결과를 재검증할 수 있는 기반을 제공했습니다.

결론적으로, PlotChain 은 멀티모달 LLM 이 공학 분야에서 실제 활용되기 위해 필요한 정밀한 수치 추출 및 추론 능력을 평가하고, 현재 모델들이 직면한 주파수 분석 및 파생량 계산이라는 핵심 병목 현상을 명확히 규명한 중요한 연구입니다.