A Compact Formula-Aware Spreadsheet Abstraction for Large Language Models

기술 요약: 대규모 언어 모델을 위한 컴팩트한 수식 인식 스프레드시트 추상화

문제 정의
본 논문은 스프레드시트의 2차원적이고 구조적인 특성과 대규모 언어 모델(LLM)의 순차적이고 선형적인 텍스트 처리 능력 사이의 근본적인 불일치를 다룹니다. LLM은 스프레드시트 작업(모델 구축, 수식 생성, 분석)에 점점 더 많이 사용되고 있지만, 현재의 "바닐라(vanilla)" 방식—스프레드시트 범위를 JSON, Markdown, HTML과 같은 가공되지 않은 텍스트 형식으로 직접 변환하는 방식—은 네 가지 결정적인 한계점을 가집니다:

1. 부정확성: LLM은 표 구조를 정밀하게 해석하는 데 어려움을 겪으며, 작은 데이터셋에서도 잘못된 셀 값을 반환하거나 관계를 오인하는 경우가 빈번합니다.
2. 토큰 비효율성: 크고 복잡한 파일의 전체 스프레드시트 콘텐츠를 전송하면 과도한 토큰 소비가 발생하여 비용과 지연 시간이 증가합니다.
3. 용량 제한: 대규모 스프레드시트는 현재 모델의 컨텍스트 창(context window) 제한을 자주 초과하여 쿼리가 거부되는 결과를 초래합니다.
4. 수식 간과: 바닐라 표현 방식은 수식을 불투로한 텍text로 취급하거나 아예 누락하는 경우가 많으며, 자동화 및 오류 탐지에 필수적인 수식 패턴(예: R1C1 표기법)에 담긴 의미론적 정보를 활용하지 못합니다.

방법론
저자는 원시 스프레드시트와 LLM 사이의 중간 계층 역할을 하는 **컴팩트한 수식 인식 스프레드시트 추상화(compact, formula-aware spreadsheet abstraction)**를 제안합니다. 이 방법은 직렬화 전 정적 분석을 통해 스프레드시트를 탐지하고 구조화하는 것에 의존합니다.

• 추상화 구축: 시스템은 워크시트를 스캔하여 비어 있지 않은 셀들을 중복되지 않는 범위와 개별 셀로 분할합니다.

  • 동질적 범위(Homogeneous Ranges): 단일 데이터 유형(텍스트, 날짜, 숫자, 통화)을 공유하고, 적용 가능한 경우 단일 R1C1 수식 패턴을 가진 대규모 수직 리스트를 식별합니다.
  • 표현 방식: 모든 셀 값을 전송하는 대신, 이러한 범위는 위치, 데이터 유형, R1C1 수식 패턴, 그리고 선택된 경계 값(상단/하단 또는 가장자리 셀)으로 표현됩니다.
  • 헤더 탐지: 알고리즘은 테이블 헤더(보통 데이터 리스트 위의 행)를 식별하고 이를 데이터 페이로드와 분리하여, 헤더 값을 명시적으로 제공하면서 데이터를 추상화합니다.
  • 노이즈 내성: 알고리즘은 일관된 테이블 내의 고립된 빈 셀을 무시하도록 설계되어 파편화를 방지합니다.

• 알고리즘 프로세스:

  1. 시드 식별: 알고리즘은 먼저 반복되는 R1C1 수식 패턴(예: 계산 열)을 기반으로 신뢰할 수 있는 수직 리스트를 식별합니다.
  2. 의존성 전파: 수식 의존성을 추적하여 시드가 참조하는 다른 동질적 리스트를 식별합니다.
  3. 유형 기반 확장: 데이터 유형을 기반으로 추가적인 대규모 동질적 리스트를 식별합니다.
  4. 테이블 그룹화: 호환 가능한 높이와 위치를 가진 인접 리스트들을 "메인 테이블"로 그룹화합니다.
  5. 직렬화: 헤더, 범위 위치, 유형, 수식 및 경계 값을 설명하는 텍스트 요약을 생성합니다.

• 상호작용 프로토콜:

  1. 추상화된 내용이 사용자 쿼리와 함께 LLM에 전달됩니다.
  2. LLM은 추상화가 쿼리에 답하기에 충분한 정보를 포함하고 있는지 판단합니다(예: 수식 생성을 위한 경우).
  3. 특정 데이터 값이 필요한 경우(예: 데이터 분석을 위한 경우), LLM은 전체 시트를 보내는 것보다 토큰 사용량을 최소화하며 관련 범위만을 요청합니다.

주요 기여

1. 컴팩트한 추상화: 전체 데이터 페이로드를 전송하지 않고도 스프레드시트의 고수준 특성(구조, 유형, 수식)을 포착하는 새로운 표현 방법을 제시합니다.
2. 탐지 알고리즘: 수식 패턴을 구조적 발견을 위한 시드로 활용하여, 대규모 동질적 범위와 메인 테이블을 탐지하는 효율적이고 저비용인 알고리즘을 제공합니다.
3. 실증적 평가: GPT-4.1을 사용하여 수식 생성, 최적화, 데이터 분석 등의 작업을 포함한 50개의 실제 세계 스프레드시트-쿼리 케이스에 대해 바닐라 접근 방식과 비교하는 엄격한 평가를 수행했습니다.

평가 결과
본 연구는 수식 생성, 최적화, 데이터 분석 등의 작업을 포함한 50개 케이스에 대해 신뢰성, 효율성 및 정확성을 평가했습니다:

• 콘텐츠 없는 쿼리 해결: 50개 케이스 중 12개는 상세한 셀 데이터 없이 추상화만으로 정확하게 답변되었습니다. 추가 11개 케이스는 추상화와 최소한의 컨텍스트를 결합하여 해결되었으나, 바닐라 방식은 가장 단순한 쿼리를 제외하고는 모든 데이터 전송이 필요했습니다.
• 토큰 및 데이터 감소: 추가 데이터가 필요한 경우, 추상화 방식은 훨씬 더 정밀한 범위를 식별했습니다. 이는 요청된 셀의 양을 77% 줄였으며, 상호작용 전반에 걸친 총 토큰 소비량을 86% 감소시켰습니다.
• 신뢰성 및 정확성: 반복 실행 프로토콜(케이스당 3회 실행)에서 바닐라 방식은 22개 케이스에서 적어도 한 번 이상의 실패를 보였습니다. 추상화 방식은 신뢰성을 크게 향상시켜, 해당 22개 케이스 중 16개에서 100% 성공률(3회 실행 모두 정답)을 달축했습니다. 저자는 이를 추상화가 명확한 구조적 스캐폴드(scaffold)를 제공함으로써, LLM이 콘텐츠를 찾고 관계를 더 정확하게 이해하도록 돕기 때문이라고 설명합니다.

의의 및 주장
본 논문은 이 추상화 계층이 AI 지원 스프레드시트 작업을 위한 결정적인 "스캐폴드" 역할을 한다고 주장합니다. 원시 데이터 전송에서 구조적이고 수식 인식적인 표현으로 전환함으로써, 이 방법은 다음과 같은 효과를 가집니다:

• 구조와 데이터의 분리: LLM이 방대한 데이터 양에 압도되지 않고 스프레드시트 로직을 추론하고 수식을 생성할 수 있게 합니다.
• 신뢰성 향상: 바닐라 방식에서 흔히 발생하는 LLM의 환각(hallucination) 및 구조적 오해석을 완화합니다.
• 비용 최적화: 토큰 사용량과 처리 시간을 획기적으로 줄여, 대규모 엔터프라이즈 규모의 스프레드시트에 대한 AI 통합을 가능하게 합니다.

저자는 이 연구를 (스프레드시트 속성 검증에 이전에 사용되었던 정적 분석 기법인) **추상 해석(abstract interpretation)**의 구체적인 응용 사례로 규정합니다. 저자는 본 방법이 단순히 인간의 인덱싱을 위해 데이터 추출이나 테이블 구조화에만 집중했던 이전 연구들과 달리, 구조적 탐지를 유도하기 위해 수식 의미론을 활용하여 명시적으로 LLM 소비에 최적화되었다는 점을 강조합니다.

한계 및 향후 방향
저자는 현재 알고리즘이 주로 수직적 동질 리스트에 집중하고 있으며, 아직 대규모 수평 리스트, 불규칙하게 분산된 데이터, 병합된 셀, 또는 의미를 전달하는 서식(색상, 굵은 글씨 등)을 처리하지 못한다는 점을 인정합니다. 향후 연구로는 추상화를 이러한 영역까지 확장하고, 이 정적 분석을 테스트 주도 개발(TDD) 및 AI 생성 출력의 결정론적 검증과 같은 다른 AI 안전 기술과 결합하는 것을 제안합니다.