SciTaRC: Benchmarking QA on Scientific Tabular Data that Requires Language Reasoning and Complex Computation

이 논문은 과학 논문 내의 표 데이터에 대한 언어 추론과 복잡한 계산이 필요한 질문을 다루는 새로운 벤치마크 'SciTaRC'를 소개하며, 현재 최첨단 AI 모델들이 실행 계획의 충실한 수행 실패로 인해 해당 작업에서 상당한 성능 저하를 보인다는 사실을 규명합니다.

핵심

📊 과학 논문 속 '숫자 퍼즐'을 푸는 AI 의 한계: SciTaRC 연구 소개

이 논문은 **"AI 가 과학 논문에 나오는 복잡한 표 (Table) 를 보고 문제를 풀 때, 왜 그렇게 많이 틀리는가?"**를 파헤친 흥미로운 연구입니다. 연구진은 이를 위해 **'SciTaRC'**라는 새로운 시험지를 만들었습니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 일상적인 언어로 설명해 드릴게요.

---

1. 시험지 (SciTaRC) 는 무엇인가요?

상상해 보세요. AI 가 과학자들의 논문에서 가져온 **복잡한 표 (데이터)**를 보고, 그 안에서 답을 찾아야 하는 시험을 치른다고 가정해 봅시다.

• 기존 시험: "사과 3 개, 배 2 개면 몇 개?" 같은 단순한 계산.
• SciTaRC 시험: "2024 년 AI 논문 표에서 'Qwen2-Audio'라는 모델이 한국어로 가장 낮은 점수를 받은 이유를 찾고, 다른 모델들의 평균 점수를 계산해서 비교해 주세요."
  • 난이도: 언어를 이해하고, 표에서 필요한 숫자를 찾아내고, 복잡한 계산을 하고, 논리적으로 결론을 내려야 합니다. 마치 복잡한 레시피를 보고 요리를 하되, 재료가 섞여 있는 냉장고에서 찾아서 조리해야 하는 상황과 같습니다.

2. AI 들의 성적표: "최고의 천재도 30% 는 틀려요"

연구진은 최신 AI 모델 (GPT-5, Llama-3, Qwen 등) 24 개를 이 시험에 출전시켰습니다. 결과는 충격적이었습니다.

• 최고의 AI (GPT-5) 도 76.8% 만 맞췄습니다. 즉, 100 점 만점에 23 점 이상을 틀린 것입니다.
• 오픈소스 모델 (Llama-3.3 등) 은 65% 이상을 틀렸습니다.
• 결론: 아무리 똑똑한 AI 일지라도, 과학 논문의 복잡한 표를 다루는 데는 여전히 큰 벽이 존재합니다.

3. 왜 틀릴까요? (핵심 발견 3 가지)

① "계획은 잘 세우는데, 실행을 못 해요" (실행 병목 현상)

AI 는 문제를 풀 때 두 단계를 거칩니다.

1. 계획 세우기: "먼저 A 를 찾고, 그다음 B 를 계산하자."
2. 실행하기: 실제로 A 를 찾고 B 를 계산하는 것.

연구 결과, AI 는 계획을 잘 세우지만, 그 계획을 실제로 수행할 때 엉망이 됩니다.

비유: 요리사가 "먼저 양파를 다지고, 그다음 고기를 볶자"라고 완벽하게 계획을 세웠는데, 막상 주방에 들어가면 양파를 다지는 칼질 실수가 나거나, 불 조절을 잘못해 고기를 태워버리는 상황입니다. AI 는 '계획'보다 '실제 손기술 (실행)'이 더 약한 것입니다.

② "코드로 풀면 더 망쳐요" (코드 vs 언어)

많은 사람이 "숫자 계산은 코드로 하는 게 낫지 않나?"라고 생각했습니다. 하지만 이 연구에서는 반대 결과가 나왔습니다.

• 자연어 (말) 로 생각할 때: AI 가 표의 복잡한 구조를 유연하게 이해합니다.
• 코드 (Python 등) 로 풀게 했을 때: AI 는 오히려 더 많이 틀렸습니다.

  비유: 과학 논문의 표는 정리되지 않은 잡동사니가 섞인 창고와 같습니다. AI 는 이 창고를 정리된 코드로 옮기려다 실수를 범하고, 오히려 말로 설명할 때 더 잘 찾아냅니다. 코드가 너무 딱딱해서 이 '잡동사니'를 다룰 수 없었던 것입니다.

③ "문제를 잘못 읽는 게 가장 큰 실수"

AI 가 틀린 이유를 분석했더니, 계산 실수보다 문제 의도를 잘못 이해하는 경우가 73% 로 가장 많았습니다.

비유: "사과를 3 개 사오라"는 지시를 듣고 "배를 3 개 사옴"이라고 답하는 실수입니다. 숫자 계산은 잘해도, **무엇을 찾아야 하는지 (이해)**를 놓치면 모든 게 무너집니다.

4. 이 연구가 우리에게 알려주는 것

이 논문은 AI 기술이 "지식"을 아는 수준을 넘어, **"복잡한 일을 실제로 수행하는 능력"**에서 아직 한계가 있음을 보여줍니다.

• 현재 상황: AI 는 훌륭한 '전략가'일 수 있지만, '실무자'로서는 아직 신뢰할 수 없는 부분이 많습니다.
• 미래 과제: 앞으로의 AI 개발은 단순히 더 똑똑하게 만드는 것이 아니라, **계획한 대로 정확하게 실행하는 능력 (Faithful Execution)**을 키우는 데 집중해야 합니다.

요약

SciTaRC는 AI 에게 "과학 논문의 복잡한 표를 보고 문제를 풀어라"는 시험을 치르게 했습니다. 결과는 **"AI 는 계획을 잘 세우지만, 실제로 손으로 (또는 코드로) 수행할 때 자주 실패한다"**는 것입니다. 특히 코드로 풀려고 하면 더 망치고, 문제를 잘못 읽는 실수가 가장 많습니다.

이 연구는 **"AI 가 더 똑똑해지기 전에, 먼저 '착하게' 일을 처리할 수 있도록 훈련시켜야 한다"**는 중요한 메시지를 전합니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 능력은 단순한 지식 회상에서 다단계 추론이 필요한 복잡한 문제 해결로 진화했습니다. 그러나 과학 논문 내의 표 (Table) 데이터를 기반으로 한 질문 응답 (QA) 태스크는 여전히 AI 에게 큰 도전 과제입니다. 이러한 태스크는 다음과 같은 복합적인 요구사항을 포함합니다:

• 밀집된 수치 데이터와 이질적인 구조 (heterogeneous structure) 처리.
• 도메인 특화 표기법 및 암묵적 가정 이해.
• 자연어 이해, 증거 추출, 다단계 계획 수립, 그리고 정확한 계산 실행의 동시 수행.

기존 벤치마크는 주로 단순한 추론이나 자동 생성된 데이터를 기반으로 하여, 실제 과학적 논문의 복잡성과 계산적 엄밀성을 충분히 반영하지 못했습니다.

2. 방법론 (Methodology)

A. SciTaRC 데이터셋 구축

• 출처: 최근 arXiv 에 게시된 인공지능 (AI) 분야의 과학 논문에서 표를 추출하여 구성했습니다.
• 전문가 작성: LLM 이 자동 생성한 것이 아니라, NLP 분야 박사/석사 과정 학생 및 교수가 직접 **전문가 (Expert-authored)**가 질문, 정답, 그리고 의사 코드 (Pseudo-code) 실행 계획을 작성했습니다.
• 구성 요소: 각 인스턴스는 질문, 관련 표 (LaTeX 소스 포함), 정답, 그리고 문제를 해결하기 위한 단계별 의사 코드 계획을 포함합니다.
• 평가 프로토콜: 자유 형식의 답변 (텍스트 + 숫자) 을 평가하기 위해 LLM-as-a-Judge(Llama-3.3-70B-Instruct) 를 활용하여 정답과 모델 출력의 일치도를 판단했습니다. (인간 평가자와 95% 이상의 일치율 확보)

B. 복잡성 측정 지표

데이터셋의 난이도를 정량화하기 위해 두 가지 차원의 지표를 정의했습니다:

1. 입력 복잡성 (Input Complexity):
   • Context Load: 시리얼화된 표의 토큰 수.
   • Structural Size: 파싱된 총 그리드 셀 수.
   • Input Scope: 참조해야 하는 서로 다른 표의 수.
2. 추론 복잡성 (Reasoning Complexity):
   • Calculation Intensity: 계산 연산 (COMPUTE) 횟수.
   • Retrieval Demand: 데이터 추출 (SELECT) 횟수.
   • Plan Horizon: 전체 지시문 수 (추론 깊이).
   • Control Flow: 반복 (LOOP) 및 조건문 (IF) 의 중첩 깊이.

C. 실험 설정

• 모델 범위: GPT-5, Grok-4 등 독점 최첨단 모델과 DeepSeek, Llama-3.3, Qwen 등 오픈 가중치 모델을 포함한 24 개 모델 평가.
• 프롬프트 전략:
  • CoT (Chain-of-Thought): 자연어 기반 단계별 추론.
  • PoT (Program-of-Thought): 실행 가능한 Python 코드 생성을 통한 추론.

3. 주요 기여 (Key Contributions)

1. SciTaRC 벤치마크 출시: 과학적 표 데이터에 대한 심층 언어 추론과 복잡한 계산을 동시에 요구하는 최초의 전문가 작성 벤치마크를 공개했습니다.
2. 실행 병목 현상 (Execution Bottleneck) 발견: 모델이 올바른 전략 (계획) 을 수립하더라도, 이를 **신뢰성 있게 실행 (Execution)**하는 데 실패하는 경우가 가장 많음을 규명했습니다.
3. 코드 기반 추론의 취약성 입증: 과학적 표의 이질적인 구조를 처리할 때, 자연어 추론 (CoT) 이 코드 기반 추론 (PoT) 보다 더 강력하고 견고함을 보였습니다.

4. 실험 결과 (Results)

A. 성능 개요

• 전반적 저조한 성능: 최첨단 모델인 GPT-5 조차도 정확도 **76.8%**에 그쳤으며, 오픈 가중치 모델 중 최상위인 Llama-3.3-70B-Instruct 는 **34.5%**의 낮은 점수를 기록했습니다. 전체적으로 모델의 23% 이상에서 실패가 발생했습니다.
• 추론 최적화 모델의 우위: DeepSeek-R1 등 추론을 위해 강화학습 (RL) 을 적용한 모델은 크기가 더 큰 일반 모델보다 우수한 성능을 보였습니다 (예: 32B 모델이 71B 모델보다 높은 점수).

B. 핵심 분석 결과

1. 실행 병목 현상 (The Execution Bottleneck):
   • 모델이 스스로 계획을 세우는 것 (Planning) 보다, 주어진 정확한 계획 (Oracle Plan) 을 따르는 것 (Execution) 에서 더 많은 실패를 겪었습니다.
   • 실패 원인 분석 시, **계획 오류 (Plan Fail)**는 약 1220% 인 반면, **실행 오류 (Exec Fail)**는 **4065%**로 압도적으로 높았습니다. 이는 모델이 "무엇을 할지"는 알지만 "정확하게 수행하는 것"에 실패함을 의미합니다.
2. 코드 기반 방법의 취약성:
   • PoT(코드 생성) 방식은 CoT(자연어) 방식보다 성능이 현저히 낮았습니다. (예: DeepSeek-V3.2 는 CoT 69.3% → PoT 36.1% 로 급감).
   • 과학적 표의 비정형적이고 이질적인 구조를 원시 LaTeX 로 처리할 때 코드가 매우 취약 (brittle) 하게 작용했습니다.
3. 난이도 요인:
   • Plan Horizon (계획 길이): 다단계 추론이 길어질수록 모든 모델의 성능이 급격히 하락했습니다.
   • 입력 규모: 표의 크기가 커질수록 작은 모델들은 성능이 붕괴되었으나, 최첨단 모델들은 상대적으로 안정적이었습니다.

C. 오류 분석 (DeepSeek-V3.2 기준)

• 이해 오류 (Comprehension): 73% (가장 주된 원인: 질문 의도나 표 속성 오해)
• 계산 오류 (Calculation): 17%
• 위치 선정 오류 (Localization): 7%
• 기억 오류 (Memory): 3%

5. 의의 및 결론 (Significance & Conclusion)

• 미래 방향성 제시: 현재의 AI 시스템은 복잡한 과학적 데이터를 다룰 때 전략 수립 능력보다 **신뢰할 수 있는 실행 능력 (Execution Fidelity)**이 더 큰 병목 현상임을 보여줍니다.
• 하이브리드 접근의 필요성: 신경망 (Neural) 과 심볼릭 (Symbolic) 접근법의 결합이 필요하지만, 단순히 코드를 생성하는 것만으로는 부족하며, 이질적인 데이터 구조에 대한 견고한 파싱 및 실행 메커니즘이 필수적입니다.
• 진단 도구: SciTaRC 는 향후 에이전트 (Agentic) 시스템 및 신경 - 심볼릭 (Neuro-symbolic) 시스템의 발전 방향을 진단하고 평가하는 데 필수적인 벤치마크로 자리 잡을 것입니다.

이 논문은 LLM 이 과학적 데이터 분석 분야에서 아직 도달하지 못한 "신뢰성 있는 실행"의 한계를 명확히 드러내며, 단순한 추론 능력을 넘어선 정확한 계산과 실행 능력 향상이 차세대 AI 개발의 핵심 과제임을 강조합니다.