SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks

이 논문은 자연어 프롬프트로 스프레드시트 작업장을 생성하는 LLM 의 성능을 평가하기 위해 블라인드 쌍대 비교 방식을 도입한 'SpreadsheetArena' 플랫폼을 소개하고, 사용 사례에 따라 선호되는 스프레드시트의 특성이 크게 달라지며 도메인별 모범 사례와 정렬되지 않는 경우가 많음을 규명합니다.

핵심

1. 연구의 배경: 왜 엑셀이 중요할까요?

우리는 매일 엑셀을 쓰지만, AI 가 엑셀을 만들어주는 건 아직 어렵습니다.

• 기존 연구: AI 가 코드를 짜거나 글을 쓰는 건 많이 연구됐습니다.
• 새로운 도전: AI 에게 "호텔 수익 예측 모델을 만들어줘"라고 하면, AI 는 숫자만 맞추는 게 아니라 색깔, 레이아웃, 수식 연결까지 고려해야 합니다.
• 문제점: AI 가 만든 엑셀이 "수학적으로 맞을지"는 알 수 있어도, "실제 업무에 쓸 만한 예쁜 엑셀일까?"는 사람마다 기준이 다릅니다.

2. SPREADSHEETARENA: 거대한 '블라인드 요리 대회'

저자들은 SPREADSHEETARENA라는 플랫폼을 만들었습니다.

• 상황: 사용자가 "이런 엑셀을 만들어줘"라고 요청하면, AI 16 개가 각각 엑셀 파일을 만듭니다.
• 대회 방식: 사용자는 어떤 AI 가 만든 파일인지 모른 채 (블라인드), 두 개의 파일을 비교하고 "어느 게 더 좋냐?"고 투표합니다.
• 결과: 4,300 번 이상의 투표를 통해 AI 들의 실력 순위 (Elo 점수) 를 매겼습니다.
  • 상위권: Claude, Gemini, GPT-5 등 최신 모델들이 잘했습니다.
  • 하위권: 구형 모델들은 여전히 실수가 많았습니다.

3. 핵심 발견: "예쁘게 꾸민 게 더 잘 팔린다?" (스타일 vs 기능)

이 연구의 가장 재미있는 부분은 **"사람들이 무엇을 더 좋아하는지"**를 분석한 것입니다.

🍔 비유: 햄버거와 포장지

• 기능 (수식): 햄버거 안의 고기와 채소가 맛있는지 (계산이 맞는지).
• 스타일 (포장): 햄버거를 싸는 포장지가 예쁜지, 색깔이 잘 어울리는지.

연구 결과:

1. 사람들은 '포장지'를 더 좋아합니다.

   • 수식이 완벽하더라도, 글자가 너무 작거나 색감이 어색하면 사람들은 싫어합니다.
   • 반면, 수식이 조금 부족해도 글자가 잘 정렬되고, 배경색이 예쁘고, 텍스트가 풍부한 파일을 더 좋아했습니다.
   • 즉, AI 가 "예쁘게 꾸미는 능력"이 "정확하게 계산하는 능력"보다 투표 결과에 더 큰 영향을 미쳤습니다.

2. 분야마다 취향이 다릅니다.

   • 학술 연구용: "간결하고 깔끔한 것"을 좋아합니다. (색깔을 너무 많이 쓰면 오히려 점수가 깎임)
   • 금융/비즈니스용: "전문적인 규칙"을 따르는 것이 중요합니다. (예: 입력값은 파란색, 계산식은 검은색 등) 하지만 일반인들은 이 규칙을 잘 모르고 투표해서, 전문가 기준과는 다른 결과가 나오기도 했습니다.

4. AI 의 실수 패턴: "완벽한 척하는 가짜"

AI 가 만든 엑셀이 실패하는 이유를 분석했더니, 두 가지 유형이 있었습니다.

• 약한 AI (초보자):
  • 요청한 내용을 아예 안 만들거나 (예: 5 년 데이터를 요구했는데 1 년만 줌), 아예 작동하지 않는 파일을 만듭니다.
• 강한 AI (고수):
  • 겉보기엔 완벽해 보이지만, 속은 비어있거나 속임수가 있습니다.
  • 예: "수익이 100% 증가했다"라고 써놓고, 실제로는 숫자를 임의로 바꿔놓은 경우.
  • 전문가들은 이런 **속임수 (Integrity Failure)**를 금방 알아채지만, 일반인들은 겉모습만 보고 "좋네!"라고 투표합니다.

5. 결론: AI 는 아직 '수석 회계사'가 될 수 없다

• 현실: 최신 AI 모델들도 엑셀을 만들 수는 있지만, 전문가 수준의 품질은 아직 못 냅니다.
• 문제: AI 는 "예쁘게 꾸미는 것"에 너무 집중하다가, "정확한 계산"이나 "전문가 규칙"을 놓치는 경우가 많습니다.
• 제안: 앞으로는 AI 를 훈련시킬 때, 단순히 "사람이 좋아하는 것"만 가르치는 게 아니라, **전문가 기준 (예: 금융 회계 규칙)**을 함께 가르쳐야 합니다.

📝 한 줄 요약

"AI 는 엑셀을 예쁘게 꾸미는 데는 천재지만, 속을 채우는 정확한 계산과 전문가 규칙에서는 아직 초보입니다. 우리는 겉모습에 속지 말고, 실제 기능을 더 중요하게 평가해야 합니다."

이 연구는 AI 가 우리 일상의 중요한 도구 (엑셀) 를 제대로 쓸 수 있도록, 더 나은 기준을 마련하는 데 큰 도움을 줄 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 은 increasingly 구조화된 아티팩트 (코드, 테이블, SQL 등) 생성을 수행하도록 요구받고 있습니다. 그러나 스프레드시트 생성 (Spreadsheet Generation) 은 기존 벤치마크와 구별되는 고유한 도전 과제를 안고 있습니다.

• 복잡한 구조와 의존성: 스프레드시트는 셀 간 밀집된 그래프 구조 의존성 (수식, 참조) 을 가지며, 단순한 텍스트나 JSON 과 달리 다차원적이고 구조적으로 복잡합니다.
• 맥락 의존적 평가 기준: 스프레드시트의 품질은 명시적 지시사항뿐만 아니라 암묵적인 스타일, 레이아웃, 상호작용성, 그리고 도메인별 (예: 금융, 학술, 개인용) 관행에 따라 평가 기준이 크게 달라집니다.
• 검증의 어려움: 코드 생성과 달리 단순 실행 (execution-based) 만으로는 논리적 오류나 도메인별 모범 사례 (Best Practices) 위반을 쉽게 발견하기 어렵습니다. 또한, 사용자의 주관적 선호도가 결과의 유효성에 큰 영향을 미칩니다.

이러한 배경 하에서, LLM 이 생성한 스프레드시트의 성능을 어떻게 체계적으로 평가하고, 사용자 선호도를 구성 요소별로 분해하여 분석할 수 있을지가 핵심 문제입니다.

---

2. 방법론 (Methodology)

저자들은 SPREADSHEETARENA 라는 새로운 평가 플랫폼을 도입하여 LLM 의 스프레드시트 생성 능력을 평가했습니다.

가. SPREADSHEETARENA 플랫폼

• 블라인드 쌍별 비교 (Blind Pairwise Comparison): 사용자가 자연어 프롬프트를 제출하면, 16 개의 서로 다른 LLM 이 생성한 스프레드시트 (JSON 형식) 를 익명으로 4 번의 배틀 (Battle) 로 구성하여 사용자에게 보여줍니다.
• 투표 시스템: 사용자는 두 스프레드시트 중 하나를 선호하거나, 둘 다 만족스럽지 않음을 표시합니다.
• 데이터 수집: 4,357 개의 투표와 436 개의 시드 (Seed) 프롬프트 (6 가지 카테고리: 학술, 기업 금융, 창의적, 운영, 전문 금융, SMB/개인) 를 기반으로 데이터를 구축했습니다.

나. 평가 모델 (Bradley-Terry & Elo)

• 랭킹 산출: Bradley-Terry 모델을 사용하여 모델 간 승률 확률을 추정하고, 이를 Elo 점수 (GPT-4o 를 1000 점 기준) 로 변환하여 모델 순위를 매깁니다.
• 특성 보정 (Feature-Augmented Model): 단순 순위뿐만 아니라, 생성된 스프레드시트의 29 가지 측정 가능한 특성 (수식 오류율, 텍스트 비율, 채우기 색상, 테이블 구조 등) 을 공변량 (Covariate) 으로 포함시킨 확장된 Bradley-Terry 모델을 적용합니다. 이를 통해 "모델의 능력"과 "출력물의 시각적/구조적 특성"이 선호도에 미치는 영향을 분리하여 분석합니다.

다. 실패 유형 분류 (Failure Taxonomy)

• 데이터 기반 분류: 낙선한 스프레드시트의 실패 원인을 분석하기 위해 LLM 판정자 (Judge) 를 훈련시켜 8 가지 실패 카테고리 (예: 비기능적, 명세 불이행, 무결성 실패, 계산 오류, 해석 불가, 낮은 사용자 가치, 프레젠테이션 결여 등) 로 분류했습니다.

라. 전문가 평가 (Expert Evaluation)

• 금융 도메인 검증: 금융 전문가 5 명에게 LLM 생성 스프레드시트를 블라인드 평가하게 하여, 산업 표준 (색상 코딩, 하드코딩 금지, 입력/계산/출력 분리 등) 에 부합하는지 확인했습니다.

---

3. 주요 기여 (Key Contributions)

1. SPREADSHEETARENA 플랫폼 출시: LLM 이 생성한 스프레드시트 워크북을 평가하기 위한 최초의 오픈 플랫폼을 구축하고, 4,357 개의 투표 데이터를 공개했습니다.
2. 16 개 모델의 안정적 순위 설정: 다양한 모델 패밀리 (Claude, Gemini, GPT, Grok, Llama 등) 에 대한 Elo 랭킹을 확립했습니다.
3. 선호도 분해 (Decomposition of Preference):
   • 특성 보정의 영향: 시각적/구조적 특성 (예: 채우기 색상, 텍스트 양) 을 보정하면 리더보드 순위가 크게 압축되거나 변동됨을 발견했습니다.
   • 도메인별 차이: 학술 분야에서는 과도한 포맷팅이 불리하게 작용하는 반면, 금융 분야에서는 전문적인 색상 코딩이 선호됨을 규명했습니다.
4. 모델별 실패 패턴 분석: 각 모델이 특정 유형의 오류 (예: Claude 는 무결성/계산 오류, Qwen/Llama 는 명세 불이행) 에 취약한 패턴을 발견했습니다.
5. 전문가 vs 대중 선호도 간극: 금융 도메인에서 대중의 선호도 (Arena 투표) 와 전문가의 평가 (Industry Standards) 간 일치도가 낮음을 보여주었습니다.

---

4. 주요 결과 (Results)

가. 전반적 순위 및 특성 보정 효과

• 기초 순위: Claude 모델 (Opus 4.5, Sonnet 4.5) 이 전반적으로 높은 Elo 점수를 기록했습니다.
• 특성 보정 후 변화:
  • 순위 압축: 시각적/구조적 특성을 보정하면 상위 모델들의 점수가 크게 하락하고, 하위 모델들의 점수가 상승하여 순위 차이가 줄어듭니다. (예: Claude Opus 4.5 는 1550 → 1333 점 하락).
  • Gemini 의 강점: 특성 보정 후 순위가 크게 변동하지 않아, Gemini 모델이 시각적 과장보다는 구조적/기능적 측면에서 일관된 성능을 보임을 시사합니다.
  • Academic vs Finance:
    • Academic & Research: Claude 모델은 과도한 포맷팅으로 인해 순위가 급락 (1 위 → 9 위) 하는 반면, Grok 모델이 상승했습니다. (학술 분야는 단순함과 원본 데이터 투명성을 선호).
    • Finance: 전문 금융 모델링 관행 (색상 코딩, 입력/계산 분리) 을 준수하는 것이 승률에 긍정적 영향을 미쳤습니다.

나. 실패 유형 분석

• 프레젠테이션 결여 (Presentation Deficiency): 모든 모델의 실패 원인 중 가장 흔한 항목 (57~96%) 이었습니다.
• 모델별 특징:
  • Claude: "명세 불이행"이나 "프레젠테이션"보다는 무결성 실패 (Integrity Failure) 와 계산 오류 (Numerical Computation) 비율이 상대적으로 높았습니다. 이는 Claude 가 겉보기에는 완벽해 보이지만, 내부 논리나 데이터 연결성에 치명적인 결함이 있을 수 있음을 의미합니다.
  • Qwen/Llama: 명세 불이행 (Spec Non-compliance) 과 비기능적 (Non-functional) 오류가 빈번했습니다.

다. 전문가 평가 결과 (금융 도메인)

• 낮은 일치도: Arena 투표 결과와 전문가 평가 간의 일치도는 42.3% 에 불과했습니다.
• 약점: LLM 은 계산 정확성 (Errors & Accuracy) 과 수식 관행 (Formula Conventions) 에서는 평균 이상이었으나, 색상 코딩 및 포맷팅 (Color Coding & Formatting) 과 금융 모델링 관행 (Modeling Conventions) 에서 심각한 부족함을 보였습니다.
• 결론: 대중의 선호도가 반드시 산업 표준을 반영하지는 않으며, 전문적인 금융 모델링에는 여전히 상당한 수동 수정이 필요합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 벤치마크 영역: 스프레드시트 생성은 코드 생성과 달리 구조적 복잡성과 도메인별 관행이 결합된 새로운 평가 영역임을 입증했습니다.
• 선호도 데이터의 함정: 단순한 쌍별 비교 (Pairwise Comparison) 데이터만으로는 모델의 실제 능력을 완전히 평가할 수 없습니다. 시각적 매력 (Formatting) 이 실제 기능적 정확성 (Functional Correctness) 을 가릴 수 있으며, 도메인별로 선호도 기준이 상이합니다.
• 향후 연구 방향:
  • 구조화된 아티팩트 생성을 위한 후학습 (Post-training) 시, 단순 선호도 데이터가 아닌 도메인별 모범 사례와 기능적 정확성을 동시에 고려한 보상 모델 개발 필요.
  • LLM 이 생성한 스프레드시트의 내부 논리 (무결성) 를 검증하는 자동화 도구 및 평가 지표 개발 필요.
  • 금융 등 전문 분야에서는 대중의 선호도보다 전문가의 평가 기준을 반영한 평가 체계의 중요성 강조.

이 논문은 LLM 이 구조화된 아티팩트를 생성할 때, 단순히 "잘 보이는" 결과를 만드는 것을 넘어, 도메인별 전문성과 기능적 정확성을 어떻게 균형 있게 달성할 것인지에 대한 중요한 통찰을 제공합니다.