우리는 매일 은행 명세서, 주식 차트, 스포츠 기록표 등 수많은 '표'를 봅니다. AI 가 이걸 잘 읽어야 현실 세계에서 유용하게 쓰일 수 있습니다. 하지만 기존 연구들은 AI 가 표를 읽는 능력을 너무 단순하게만 평가했습니다.
비유: 마치 자동차를 평평한 아스팔트 도로에서만 100km/h 로 달리게 해서 "이 차는 최고다!"라고 선언한 것과 같습니다. 하지만 실제 도로에는 비포장길이나 눈길도 있는데, 그걸 테스트해 보지 않은 셈이죠.
2. 새로운 기준, 'ToRR' (The Mighty ToRR)
연구팀은 이 문제를 해결하기 위해 **'ToRR'**이라는 새로운 시험지를 만들었습니다.
ToRR 이란? "표 추론 (Table Reasoning) 과 견고성 (Robustness)"을 측정하는 기준입니다.
시험 내용: 10 개의 다양한 데이터셋 (금융, 과학, 위키백과 등) 을 사용했습니다.
핵심 아이디어: 같은 질문을 해도 표를 보여주는 형식을 바꿔서 봅니다.
HTML 형식, CSV 형식, JSON 형식, 마크다운 형식 등 7 가지로 바꿔서 물어봅니다.
행 (Row) 의 순서를 뒤섞거나, 열 (Column) 을 바꾸는 등 약간의 변화를 줍니다.
3. 충격적인 결과: "AI 는 표 앞에서 매우 약하다"
연구 결과는 놀라웠습니다. 최신 AI 모델들조차 표 데이터를 다룰 때 매우 취약한 (Brittle) 모습을 보였습니다.
상황: 같은 표에 같은 질문을 했을 때, 표가 Markdown으로 되어 있으면 정답을 맞췄는데, CSV로 바뀌거나 행 순서가 조금만 바뀌어도 엉뚱한 답을 내놓거나 아예 실패했습니다.
비유: 어떤 학생이 검은색 글씨로 쓴 수학 문제는 풀었는데, 빨간색 글씨로 쓰거나 문제 번호 순서를 살짝 바꿨을 때 "이건 다른 문제야!"라며 당황해서 풀지 못하는 것과 같습니다.
결론: AI 는 표의 '의미'를 깊이 이해하기보다, 표의 '형식'에 의존해서 답을 구하고 있었습니다.
4. 중요한 발견: "하나의 정답은 없다"
어떤 AI 모델이든, 특정 표 형식 (예: HTML) 만을 좋아해서 항상 잘 풀지는 않았습니다.
비유: 어떤 학생은 A4 용지에 쓴 문제를 잘 풀고, 다른 학생은 노란색 메모지에 쓴 문제를 잘 풀 수 있습니다. 하지만 어떤 학생도 모든 용지 종류에서 100 점 만점을 받는 경우는 없었습니다.
교훈: AI 의 능력을 평가할 때 "이 형식으로만 테스트하면 90 점이다"라고 말하면 안 됩니다. 다양한 형식으로 테스트해야 진짜 실력을 알 수 있습니다.
5. 해결책 제안: "질문 방식을 여러 번 바꿔보세요"
연구팀은 AI 의 능력을 신뢰할 수 있게 평가하는 방법을 제안했습니다.
방법: 같은 문제를 풀 때, 표의 형식을 여러 번 바꿔서 (예: 10 가지 다른 버전) 여러 번 물어보고 그 결과를 평균내는 것입니다.
효과: 이렇게 하면, AI 가 우연히 한 가지 형식만 기억해서 맞춘 경우를 걸러낼 수 있습니다.
비유: 학생의 실력을 볼 때, 한 번의 시험으로 평가하는 것보다 다양한 유형의 문제집을 여러 권 풀게 해서 평균 점수를 내는 것이 훨씬 공평하고 정확한 평가가 됩니다.
흥미로운 사실: 테스트 문제의 수를 늘리는 것보다, 질문하는 방식 (프롬프트) 을 다양하게 바꾸는 것이 평가의 신뢰도를 높이는 데 더 효과적일 수 있었습니다.
6. 요약: 이 연구가 우리에게 주는 메시지
현재 AI 는 표를 잘 못 봅니다: 최신 AI 모델들도 표 데이터를 다룰 때 매우 불안정하고 실수를 많이 합니다.
형식에 너무 민감하다: 표가 조금만 다르게 생겼어도 AI 는 당황합니다.
평가 방식이 달라져야 한다: AI 를 평가할 때는 "한 가지 형식"으로만 테스트하지 말고, 다양한 형식과 변형을 섞어서 여러 번 테스트해야 진짜 실력을 알 수 있습니다.
한 줄 결론:
"AI 가 표를 읽는 능력을 평가하려면, 평지뿐만 아니라 비포장도로, 눈길, 진흙길 등 모든 길에서 달리게 해봐야 진짜 실력을 알 수 있습니다. 그리고 그걸 위해선 질문하는 방식을 다양하게 바꿔주는 것이 핵심입니다."
1. 연구 배경 및 문제 제기 (Problem)
현황: 현실 세계의 데이터는 표 (Table) 형태가 매우 흔하며, 대규모 언어 모델 (LLM) 이 표 데이터를 이해하고 추론하는 능력은 NLP 의 핵심 과제입니다.
한계: 기존 연구들은 특정 작업 (예: 표 질문 답변) 이나 좁은 도메인, 소수의 모델에 국한되어 평가되었습니다. 또한, 실제 응용 환경에서 표가 다양한 텍스트 형식 (JSON, HTML, CSV 등) 으로 표현되거나 구조적 변화 (행/열 순서 변경 등) 를 겪을 때 모델이 얼마나 견고하게 (Robustly) 작동하는지에 대한 체계적인 평가가 부족했습니다.
핵심 문제: 현재 LLM 들은 표 데이터 처리에서 성능이 낮을 뿐만 아니라, 입력 형식의 사소한 변화에도 성능이 극도로 불안정하게 변하는 취약성 (Brittleness) 을 보입니다. 이는 신뢰할 수 있는 벤치마크 평가의 부재를 의미합니다.
2. 방법론 (Methodology)
저자들은 ToRR (Table Reasoning and Robustness) 이라는 새로운 벤치마크를 제안했습니다.
A. 데이터셋 구성
10 개의 데이터셋: 6 가지 다양한 표 태스크 (Table QA, Fact Verification, Table-to-Text, Data Analysis 등) 와 10 개의 도메인 (금융, 과학, 위키백과 등) 을 포괄합니다.
필요 역량 분석: 각 데이터셋 해결에 필요한 3 가지 핵심 역량을 정의했습니다.
지식 추출 (Knowledge Extraction): 표에서 특정 정보 추출.
텍스트 추론 (Textual Reasoning): 표 데이터와 주변 텍스트를 결합하여 결론 도출.
수치 추론 (Numerical Reasoning): 표 내 셀 간 계산 및 집계 수행.
B. 평가 프로토콜 (Prompt Configurations)
모델의 견고성을 평가하기 위해 단일 형식이 아닌 다양한 프롬프트 구성을 적용합니다.
직렬화 (Serialization): 표를 텍스트로 변환하는 7 가지 방식 (HTML, CSV, JSON, Markdown, DataFrame 등) 을 사용합니다.
구조적 교란 (Structural Perturbations): 표의 의미는 유지하되 구조를 변경하는 4 가지 방식 (행 순서 섞기, 열 순서 섞기, 전치, 빈 행 추가) 을 적용합니다.
총 구성 수: 각 예시당 7×4+7=35 가지의 서로 다른 프롬프트 구성으로 모델을 평가합니다.
C. 평가 지표
성능 (Performance, P): 모든 프롬프트 구성에 대한 평균 정확도.
견고성 (Robustness, R): 동일한 예시에서 다른 프롬프트 구성에 따른 점수 분산의 역수 (점수 범위가 작을수록 견고함).
D. 실험 설정
모델: 14 개의 최신 LLM (GPT-4o, Claude-3.5, Gemini, Llama-3, DeepSeek 등) 을 평가.
데이터: 각 데이터셋에서 100 개의 테스트 샘플을 추출하여 총 35 가지 구성으로 실행.
3. 주요 결과 (Results)
A. 모델 성능 및 견고성
낮은 절대적 성능: 최상위 모델들조차 표 추론 작업에서 평균 점수가 0.50 을 넘지 못하며, 모델 간 성능 격차도 크지 않습니다.
극심한 취약성 (Brittleness): 모델은 동일한 정보라도 입력 형식 (Serialization) 이나 구조적 변화 (Perturbation) 에 따라 점수가 크게 달라집니다. 이는 모델이 표에 대한 안정적이고 일반화된 표현을 가지고 있지 않음을 시사합니다.
견고성과 성능의 상관관계: 일반적으로 성능이 좋은 모델이 견고성 점수도 높은 경향이 있으나, 여전히 모든 모델이 형식 변화에 취약합니다.
B. 형식별 성능 분석
우월한 형식의 부재: 어떤 특정 직렬화 형식 (예: JSON 이나 HTML) 이 모든 모델에서 일관되게 최고의 성능을 내지 않습니다. 모델마다 선호하는 형식이 다르며, 이는 모델 평가 시 단일 형식 의존의 위험성을 보여줍니다.
교란의 영향: 행/열 순서 변경 등의 구조적 교란은 일관된 성능 저하를 유발하지는 않지만, 특정 모델과 데이터셋에서는 큰 변동을 일으킵니다.
C. 평가 신뢰성 (Reliability)
단일 프롬프트의 한계: 단일 프롬프트 구성으로 모델을 평가할 경우, 모델 순위 (Ranking) 가 프롬프트 선택에 따라 극적으로 바뀔 수 있어 신뢰할 수 없습니다.
다중 프롬프트의 효과: 여러 프롬프트 구성을 평가에 포함하면 모델 순위의 일관성 (Kendall's W) 이 크게 향상됩니다.
샘플 대체 효과: 테스트 데이터의 수를 늘리는 것만큼이나 프롬프트 변형 (Prompt Variations) 을 늘리는 것이 평가 신뢰도를 높이는 데 효과적입니다. (예: 50 개 예시 + 2 개 프롬프트 = 100 개 예시 + 1 개 프롬프트 정도의 신뢰도).
4. 주요 기여 (Key Contributions)
ToRR 벤치마크 출시: 다양한 태스크와 도메인을 아우르며, 모델의 견고성 (Robustness) 을 체계적으로 측정하는 최초의 포괄적인 표 추론 벤치마크를 구축했습니다.
LLM 의 표 처리 한계 규명: 14 개의 최신 LLM 을 평가하여, 기존 모델들이 표 이해 및 추론에서 심각한 한계를 가지며 형식 변화에 매우 민감하다는 사실을 입증했습니다.
형식 불변성 부재 발견: 어떤 단일 표 형식이 모든 모델에 유리하지 않음을 발견하여, 모델 평가 및 실제 적용 시 다양한 형식 고려의 필요성을 강조했습니다.
평가 방법론의 개선 제안: 다중 프롬프트 구성을 평가 프로세스에 통합함으로써, 적은 테스트 데이터로도 신뢰할 수 있는 모델 평가를 가능하게 하는 방법론을 제시했습니다.
5. 의의 및 결론 (Significance)
실용적 중요성: 현실 세계의 표 데이터는 다양한 형식으로 존재하므로, ToRR 과 같은 견고성 평가는 LLM 의 실제 배포 가능성을 판단하는 데 필수적입니다.
평가 기준의 변화: 단순히 "어떤 모델이 더 높은 점수를 받았는가"를 넘어, "어떤 조건에서도 일관된 성능을 보이는가"를 평가하는 것이 중요함을 강조합니다.
향후 방향: ToRR 은 LLM 의 표 추론 능력 향상을 위한 중요한 기준점 (Benchmark) 으로 작용하며, 향후 새로운 벤치마크 개발 시 다중 프롬프트 평가와 견고성 측정을 표준으로 삼아야 함을 시사합니다.
이 논문은 LLM 이 구조화된 데이터 (표) 를 처리할 때 여전히 해결해야 할 과제가 많으며, 이를 평가하는 방식 자체를 더 엄격하고 현실적으로 바꿔야 함을 강력하게 주장합니다.