Evaluating Prompting Strategies for Chart Question Answering with Large Language Models

이 논문은 ChartQA 데이터셋을 기반으로 다양한 대규모 언어 모델에서 구조화된 차트 데이터에 대한 질문 답변 성능을 평가한 결과, 추론이 필요한 복잡한 질문에는 Few-Shot Chain-of-Thought 프롬핑 전략이 가장 높은 정확도를 보인다는 것을 확인했습니다.

핵심

📊 차트 질문 답변: AI 에게 "어떻게" 물어볼까?

이 논문은 **"AI 가 복잡한 차트나 그래프를 보고 질문에 답할 때, 우리가 어떻게 질문을 던지느냐에 따라 정답률이 얼마나 달라지는지"**를 실험한 연구입니다.

마치 AI 를 '천재 학생'으로, 우리가 '선생님'으로 비유해 설명해 드릴게요.

---

1. 배경: 왜 이 연구가 필요할까요?

요즘 AI(대규모 언어 모델) 는 글을 읽고 이해하는 능력이 뛰어나죠. 하지만 차트나 그래프 같은 시각 자료를 보고 "2020 년과 2021 년 매출 차이는 얼마야?" 같은 복잡한 질문을 던지면, AI 가 헷갈려 하거나 엉뚱한 답을 내놓기도 합니다.

연구자들은 "AI 가 차트를 잘 읽게 하려면, **질문하는 방식 (프롬프트)**을 어떻게 바꿔야 할까?"를 궁금해했습니다. 차트 자체를 AI 가 직접 그림으로 보는 게 아니라, 데이터를 숫자와 글자로 정리해서 (표 형태로) AI 에게 주는 상황에서 실험을 진행했습니다.

2. 실험 방법: 네 가지 '질문 전략'

연구진은 AI 에게 똑같은 차트 데이터를 주고, 네 가지 다른 방식으로 질문을 던져보며 정답률을 비교했습니다.

1. 제로샷 (Zero-Shot): "그냥 물어보기"

   • 비유: 학생에게 아무런 힌트도 주지 않고 "이 문제 풀어봐"라고만 던지는 것.
   • 결과: 아주 간단한 문제나 똑똑한 AI(GPT-4) 에겐 잘 통했지만, 복잡한 계산이 필요하면 헷갈렸습니다.

2. 퓨샷 (Few-Shot): "예시 보여주기"

   • 비유: "이런 문제는 이렇게 풀었어, 저런 문제는 이렇게 풀었어"라고 유사한 예시 3 개를 먼저 보여주고 문제를 내는 것.
   • 결과: AI 가 **답변 형식 (예: 숫자만, Yes/No 만)**을 잘 지키게 만들었습니다.

3. 제로샷 체인 오브 씽킹 (ZS-CoT): "단계별로 생각해보자"

   • 비유: 예시는 없지만, "자, 단계별로 하나씩 생각해보자"라고 말려주는 것.
   • 결과: AI 가 답을 바로 뱉지 않고 논리적으로 생각하게 되어 정확도가 조금 올랐습니다.

4. 퓨샷 체인 오브 씽킹 (FS-CoT): "예시 + 단계별 생각"

   • 비유: 예시 3 개를 보여주면서, 각 예시마다 "왜 이 답이 나왔는지 단계별 이유"까지 적어주고, 마지막에 "자, 너도 이렇게 단계별로 생각해보자"라고 시키는 것.
   • 결과: **가장 높은 정답률 (약 78%)**을 기록했습니다! 특히 복잡한 계산이나 추론이 필요한 문제에서 AI 가 가장 똑똑하게 행동했습니다.

3. 핵심 발견: "정답"과 "형식"의 싸움

이 연구에서 가장 재미있는 점은 정답의 내용과 정답의 모양이 서로 다른 전략을 요구한다는 것입니다.

• 가장 똑똑한 답을 원한다면? 👉 FS-CoT (예시 + 단계별 생각)

  • AI 가 논리적으로 깊이 생각하게 해서 내용적인 정답률이 가장 높았습니다.
  • 단점: 답변이 길어지고, AI 가 "정답: 100"이라고 해야 할 때 "정답은 100 입니다"처럼 문장을 길게 늘어놓아 형식 (Exact Match) 점수는 떨어졌습니다.

• 가장 깔끔한 답을 원한다면? 👉 Few-Shot (예시만)

  • AI 가 "아, 예시처럼 답만 짧게 써야 구나!"라고 배워서 형식 점수가 가장 좋았습니다.
  • 장점: 비용도 적게 들고, 정확도도 나쁘지 않아 실무에서 가장 균형 잡힌 전략입니다.

4. 결론: 우리에게 주는 교훈

이 논문은 우리에게 **"AI 에게 질문할 때는 상황에 따라 전략을 바꿔야 한다"**는 것을 알려줍니다.

• 복잡한 계산이나 추론이 필요하다면? 🧠
  • "예시를 보여주고, 단계별로 생각해보자"라고 시키세요. (비록 답변이 길어지더라도 내용 정답률이 높습니다.)
• 단순히 데이터만 빠르게 뽑아내야 한다면? ⚡
  • "예시만 보여주고 답만 짧게 써"라고 시키세요. (비용도 절약되고 형식도 깔끔합니다.)
• 가장 똑똑한 AI(GPT-4o) 를 쓴다면?
  • 작은 모델이라도 잘 가르치면 큰 모델 못지않게 똑똑해질 수 있습니다.

💡 한 줄 요약

"AI 가 차트를 잘 읽게 하려면, 단순히 물어보는 게 아니라 '예시'를 보여주고 '단계별 생각'을 유도하는 것이 정답을 찾는 지름길입니다!"

이 연구는 AI 를 단순히 사용하는 것을 넘어, 어떻게 질문을 설계하느냐가 AI 의 능력을 100% 끌어내는 열쇠임을 보여줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 텍스트 기반 추론에서 뛰어난 성능을 보이지만, 데이터 시각화 (차트, 그래프 등) 를 기반으로 한 질문 응답 (Chart QA) 작업에서는 여전히 과제가 존재합니다.
• 문제: 기존 연구들은 주로 멀티모달 (이미지 + 텍스트) 접근법이나 복잡한 OCR(광학 문자 인식) 파이프라인에 의존하거나, 프롬프트 엔지니어링의 체계적인 평가가 부족했습니다.
• 핵심 과제: 시각적 입력을 텍스트 구조 (표, CSV 등) 로 변환한 후, 프롬프트 전략의 설계가 LLM 의 추론 성능과 정확도에 어떤 영향을 미치는지를 체계적으로 규명하는 것이 본 연구의 목적입니다. 특히, 시각적 요소 없이 구조화된 텍스트 데이터만으로 차트 추론을 수행할 때 어떤 프롬프트 기법이 가장 효과적인지 분석합니다.

2. 방법론 (Methodology)

본 연구는 ChartQA 데이터셋을 기반으로 하며, 시각적 파싱을 배제하고 구조화된 텍스트 데이터 (표 형식) 만을 입력으로 사용합니다.

• 실험 설정:
  • 모델: GPT-3.5, GPT-4, GPT-4o 의 세 가지 OpenAI LLM 을 사용했습니다.
  • 데이터: ChartQA 데이터셋에서 1,200 개의 질문 - 답변 쌍 (인간 작성 600 개, 증강 생성 600 개) 을 샘플링했습니다.
  • 입력 형식: 차트 이미지를 CSV 또는 키 - 값 (Key-Value) 형식의 텍스트로 직렬화하여 LLM 에게 제공합니다.
• 평가된 4 가지 프롬프트 전략:
  1. Zero-Shot (ZSP): 예시 없이 최소한의 지시문만 제공.
  2. Few-Shot (FSP): 동일한 카테고리의 3 개의 예시 (답변 포함) 를 제공하되, 추론 과정은 포함하지 않음.
  3. Zero-Shot Chain-of-Thought (ZS-CoT): 예시는 없으나 "단계별로 생각해보자 (Let's think step by step)"와 같은 추론 유도 문구를 추가.
  4. Few-Shot Chain-of-Thought (FS-CoT): 3 개의 예시를 제공하되, 각 예시에 간결한 단계별 추론 과정 (Rationale) 을 포함하고, 목표 질문에도 추론 구조를 제공.
• 평가 지표:
  • 정확도 (Accuracy): 표면적 형식 (대소문자, 단위 등) 의 차이는 허용하되, 사실적 내용이 올바른지 평가.
  • 정확 일치 (Exact Match, EM): 정답과 출력 문자열이 완전히 일치하는지 평가 ( stricter 기준).
• 추론 유형 분류: 산술 (Arithmetic), 비교 (Comparative), 부울 (Boolean), 직접 검색 (Direct Retrieval) 로 구분하여 분석.

3. 주요 기여 (Key Contributions)

• 체계적인 비교 평가: 구조화된 차트 데이터 추론 분야에서 4 가지 주요 프롬프트 전략을 동일한 모델과 데이터셋 조건에서 체계적으로 비교한 최초의 연구 중 하나입니다.
• 변수 통제: 모델 아키텍처나 멀티모달 파이프라인의 복잡성을 배제하고, 프롬프트 구조만을 독립 변수로 하여 그 영향을 고립시켜 분석했습니다.
• 실용적 가이드라인 제공: 정확도와 비용 효율성 사이의 트레이드오프를 고려하여, 실제 응용 사례에 적합한 프롬프트 전략 선택을 위한 실증적 지침을 제시했습니다.

4. 실험 결과 (Results)

1,200 개의 샘플에 대한 실험 결과는 다음과 같은 인사이트를 제공합니다.

• 성능 순위 (정확도 기준):

  • **FS-CoT (Few-Shot CoT)**가 평균 정확도 **77.0%**로 가장 높은 성능을 보였습니다. 특히 GPT-4o 모델에서 **78.2%**의 최고 정확도를 기록했습니다.
  • 이어 Few-Shot (72.3%), Zero-Shot CoT (72.2%), Zero-Shot (69.8%) 순이었습니다.
  • 결론: 복잡한 추론이 필요한 질문 (산술, 비교) 에서는 단계별 추론 (CoT) 과 예시 (Few-Shot) 가 결합된 FS-CoT 가 가장 효과적입니다.

• 형식 준수 (Exact Match 기준):

  • 흥미롭게도 FS-CoT 는 정확도는 높았으나 Exact Match 점수 (57.9%) 는 가장 낮았습니다. 모델이 논리적으로 올바른 답을 도출했으나, 요구된 형식 (예: 숫자만 출력, Yes/No 등) 을 지키지 못하는 경우가 많았습니다.
  • 반면, **Few-Shot (FSP)**는 평균 Exact Match **64.7%**로 가장 높았으며, 정확도도 경쟁력 있었습니다. 이는 예시가 모델의 출력 형식 준수 능력을 향상시킨다는 것을 시사합니다.

• 모델별 차이:

  • GPT-4 가 전반적으로 가장 높은 정확도를 보였으나, GPT-4o 는 FS-CoT 전략과 결합 시 GPT-4 와 유사하거나 더 높은 성능을 보여주어, 효율적인 모델도 올바른 프롬프트 전략으로 고성능을 낼 수 있음을 입증했습니다.

• 비용 및 효율성:

  • FS-CoT 는 토큰 사용량이 Zero-Shot 대비 2.5~3 배 증가하여 지연 시간과 비용이 높습니다.
  • Few-Shot 은 비용을 약 30% 만 증가시키면서 정확도와 형식 준수 모두에서 큰 개선을 보여주어, 실무 적용에 가장 균형 잡힌 전략으로 평가받았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 특이성: 텍스트 기반 QA 와 달리, 차트 QA 는 **상징적 계산 (Symbolic Computation)**과 엄격한 형식 준수를 동시에 요구합니다. 따라서 일반적인 텍스트 프롬프트 전략이 그대로 적용되지 않으며, 도메인 특화된 평가가 필수적입니다.
• 실무적 시사점:
  • 최고 정확도 필요 시: FS-CoT 를 사용하되, 출력 형식 정제 (Post-processing) 가 필요합니다.
  • 비용 효율성 및 형식 준수 필요 시: Few-Shot 전략이 가장 이상적인 선택입니다.
  • 간단한 작업/고성능 모델: Zero-Shot 도 고능력 모델 (GPT-4) 에서는 유효합니다.
• 한계 및 향후 과제: 현재 연구는 구조화된 텍스트 입력에 국한되어 있으며, 원본 이미지 파싱 (OCR) 오류를 배제했습니다. 향후에는 원본 이미지 처리 파이프라인 통합, 적응형 Few-Shot, 그리고 모델의 불확실성 추정 (Uncertainty Estimation) 등을 연구할 계획입니다.

요약하자면, 본 논문은 차트 기반 질문 응답에서 **Few-Shot Chain-of-Thought (FS-CoT)**가 추론 정확도를 극대화하지만, Few-Shot이 형식 준수와 비용 효율성 측면에서 더 실용적임을 증명했습니다. 이는 LLM 기반 시각 데이터 분석 시스템 구축 시 프롬프트 전략 선택에 중요한 기준을 제공합니다.