Beyond Rows to Reasoning: Agentic Retrieval for Multimodal Spreadsheet Understanding and Editing

이 논문은 단일 회수 retrieval 의 한계를 극복하고 반복적인 도구 호출 루프를 통해 복잡한 스프레드시트의 이해와 편집을 가능하게 하는 멀티모달 에이전트 프레임워크 'Beyond Rows to Reasoning(BRTR)'을 제안하며, 다양한 벤치마크에서 기존 방법론을 크게 상회하는 성능을 입증했습니다.

핵심

이 논문은 **"거대한 엑셀 파일을 한 번에 다 읽으려다 지쳐버리는 AI 를 대신해, 전문가처럼 차근차근 조사하고 수정하는 새로운 AI 비서 (BRTR)"**를 소개합니다.

기존의 AI 는 방대한 데이터를 한 번에 쏙 집어넣으려다 (압축하거나 전체를 읽으려다) 중요한 정보를 놓치거나, 너무 많은 정보에 압도되어 엉뚱한 답을 내놓곤 했습니다. 이 논문은 그 문제를 해결하기 위해 AI 에게 '조사원'의 능력을 부여했습니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "모든 책을 한 번에 읽으려다 뇌가 터진 도서관 사서"

상상해 보세요. 전 세계의 모든 도서관 책 (수백만 개의 엑셀 셀, 여러 시트의 데이터, 그림 등) 을 한 번에 읽으라고 도서관 사서 (AI) 에게 시켰다고 칩시다.

• 기존 방식 (단순 검색/압축): 사서가 책 전체를 빠르게 훑어보거나, 책 내용을 요약본으로 줄여서 읽으려 합니다. 하지만 중요한 '페이지 342 의 작은 각주'나 '다른 책과 연결된 참고 문헌'을 놓치기 쉽습니다.
• 결과: 질문이 복잡해지면 (예: "A 회사의 2023 년 매출과 B 회사의 마케팅 비용 관계를 2022 년 세금 보고서와 비교해줘"), 사서는 정보가 부족하거나 너무 많아서 엉뚱한 답을 내놓거나, 아예 "모르겠습니다"라고 말합니다.

2. 해결책: "현명한 탐정 BRTR (Beyond Rows to Reasoning)"

이 논문이 제안한 BRTR은 단순히 책을 읽는 사서가 아니라, **현장 조사에 나서는 '탐정'**과 같습니다.

• 한 번에 다 보지 않음 (반복적 조사):
  탐정은 처음부터 모든 책을 다 읽지 않습니다. "어디서 시작해야 할까?"라고 생각하며 도구를 하나씩 꺼냅니다.

  • "일단 2023 년 매출 시트만 찾아보자." (검색 도구 사용)
  • "아, 여기서 숫자가 이상하네. 그럼 관련 그림 (차트) 을 찾아보자." (이미지 검색 도구 사용)
  • "이 숫자가 B 회사 데이터랑 연결되네. 다른 시트로 넘어가서 확인해보자." (교차 참조)
  • 핵심: 답이 나올 때까지 질문 → 검색 → 확인 → 다시 질문을 반복합니다.

• 실수 방지 (계획 수립):
  복잡한 업무 (예: "세금 계산하고, 그래프 그리고, PDF 로 저장해줘") 가 들어오면, 탐정은 한 번에 다 하려 하지 않고 **작업 목록 (플랜)**을 짭니다.

  1. 데이터 추출
  2. 계산 수행
  3. 그래프 생성
  4. 파일 저장
     이렇게 단계별로 나누어 실수가 쌓이는 것을 막습니다.

• 메모 관리 (컨텍스트 정리):
  조사하다 보면 메모지가 너무 많아집니다. BRTR 은 이미 확인한 그림 데이터는 메모에서 지우고, 중요한 숫자만 남기는 지혜를 발휘합니다. 그래서 AI 의 기억 공간 (메모리) 이 꽉 차서 미쳐버리는 것을 막습니다.

3. 왜 이것이 혁신적인가요? (성공 사례)

이 '탐정 AI'를 실제 시험 (벤치마크) 에 통과시켜 보니 놀라운 결과가 나왔습니다.

• 정확도 대폭 상승: 기존 방식이 7080% 정도 맞췄다면, BRTR 은 **9899%**까지 정확도를 높였습니다. 특히 복잡한 기업 데이터를 다룰 때 그 차이가 극명했습니다.
• 어떤 AI 모델이 가장 잘할까?
  • NVIDIA NeMo: 엑셀의 숫자와 그림을 섞어서 이해하는 '검색 능력'이 가장 뛰어났습니다.
  • GPT-5.2: 가장 똑똑한 '두뇌'를 가져서, 복잡한 추론을 빠르고 정확하게 처리하면서도 비용 (연산량) 을 아끼는 가성비 최고 모델로 선정되었습니다.

4. 요약: 일상 언어로 정리하면?

"기존 AI 는 거대한 엑셀 파일을 한 번에 통째로 삼키려다 소화불량이 와서 엉뚱한 답을 냈어요.

하지만 BRTR은 현명한 조사관처럼 행동해요.

1. 질문을 받으면, 필요한 자료만 하나씩 찾아 (검색 도구)
2. 확인하고,
3. 모자라면 다시 찾아 (반복 조사)
4. 단계별로 계획을 세워 (플랜)
5. 정확한 답을 내줍니다.

마치 복잡한 사건을 해결하는 탐정처럼, AI 가 실수 없이 엑셀 파일을 분석하고 수정할 수 있게 만든 것입니다."

이 기술은 이제 단순한 데이터 읽기를 넘어, 실제 기업 업무에서 복잡한 엑셀 파일을 분석하고, 수정하고, 보고서를 만드는 것까지 AI 가 스스로 해낼 수 있는 시대를 열었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 멀티모달 검색 증강 생성 (RAG) 기술의 발전으로 대규모 언어 모델 (LLM) 이 방대한 기업용 스프레드시트 (수백만 개의 셀, 시트 간 의존성, 임베디드 시각적 요소 등) 를 분석할 수 있게 되었습니다. 그러나 기존 최첨단 접근법들은 다음과 같은 한계를 가지고 있습니다:

• 단회성 검색 (Single-pass Retrieval): 초기 검색 결과에 의존하여 추가적인 증거 수집이나 검색 정교화가 불가능합니다. 실제 분석가는 시트 간 참조를 추적하고 점진적으로 증거를 수집하며 결론을 도출하는데, 기존 시스템은 이를 모방하지 못합니다.
• 데이터 해상도 손실: 컨텍스트 창 제한을 피하기 위해 스프레드시트를 압축 (Compression) 하는 방식은 중요한 문맥과 세부 정보를 잃게 만듭니다.
• 컨텍스트 창 초과: 전체 문맥을 무작위로 주입 (Naive full-context injection) 하는 방식은 LLM 의 컨텍스트 창을 초과하여 복잡한 워크북 처리를 방해합니다.
• 멀티모달 데이터 처리 부족: 기존 연구는 표 (Tabular) 데이터와 시각적 (Visual) 데이터가 혼합된 스프레드시트 콘텐츠에 적합한 임베딩 모델을 체계적으로 평가하지 않았습니다.

2. 방법론 (Methodology)

저자들은 **Beyond Rows to Reasoning (BRTR)**이라는 멀티모달 에이전트 프레임워크를 제안합니다. 이는 단일 검색을 반복적인 도구 호출 루프로 대체하여 엔드 - 투 - 엔드 Excel 워크플로우 (복잡한 분석부터 구조화된 편집까지) 를 지원합니다.

핵심 구성 요소

1. 멀티모달 인덱싱 및 검색 (Multimodal Indexing and Retrieval):

   • 워크북을 행 (row), 열 (column), 직사각형 창 (window), 임베디드 이미지 등 4 가지 청크 유형으로 분할합니다.
   • 각 청크는 메타데이터 (시트 이름, 셀 좌표, 헤더 등) 와 함께 멀티모달 임베딩 모델로 인코딩됩니다.
   • 하이브리드 검색: 밀도 기반 코사인 유사도 검색과 BM25(정확한 수치 및 셀 참조용) 를 결합하고, Reciprocal Rank Fusion (RRF) 을 통해 결과를 융합합니다.

2. 에이전트 도구 호출 루프 (Agentic Tool-Calling Loop):

   • LLM 이 구조화된 검색 도구 (행/열/창/이미지 검색 등) 를 호출하고 결과를 검토한 후, 증거가 부족할 경우 쿼리를 정교화하거나 다른 콘텐츠 유형을 요청하는 반복적 루프를 수행합니다.
   • 최대 50 회의 도구 호출 제한을 두어 무한 루프를 방지하며, 일반적으로 3~6 회 호출로 충분합니다.
   • 컨텍스트 관리: 이미지 데이터는 토큰 소모가 크므로, 새로운 이미지가 검색될 때 이전 이미지의 인코딩 데이터는 제거하고 메타데이터만 유지하는 '항상 제거 (always-prune)' 전략을 적용하여 컨텍스트 오버플로우를 방지합니다.

3. 플래너 - 실행기 아키텍처 (Planner-Executor Architecture):

   • 복잡한 엔터프라이즈 워크플로우를 처리하기 위해 작업을 **의존성 그래프 (Dependency Graph)**로 분해합니다.
   • 플래너: 작업을 하위 태스크로 분할하고 실행 순서를 결정합니다.
   • 6 가지 실행기 (Executors): Excel 조작, I/O(PDF, CSV 등), 웹 검색, 유효성 검사 (회계 불변성 검증), OCR, 검색 도구 등을 담당합니다.
   • 독립적인 분기는 병렬로 실행되어 오류 누적을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 멀티모달 임베딩 모델 평가: FRTR-Bench 를 기반으로 5 가지 멀티모달 임베딩 모델을 비교 평가했습니다. 그 결과, NVIDIA NeMo Retriever 1B가 혼합된 표 및 시각 데이터에 대해 가장 우수한 성능을 보였습니다.
2. BRTR 에이전트 프레임워크: 단일 패스 검색을 반복적인 도구 호출로 대체하여, 200 시간 이상의 전문가 인간 평가를 통해 검증된 SOTA(최첨단) 성능을 달성했습니다.
3. 종합적 벤치마크 성능: FRTR-Bench, SpreadsheetLLM, FINCH 등 3 가지 주요 스프레드시트 이해 벤치마크에서 기존 방법론을 크게 앞섰습니다.
4. 풀 오디터빌리티 (Full Auditability): 모든 평가에서 명시적인 도구 호출 흔적 (Tool-call traces) 을 통해 전체 프로세스의 투명성과 감사 가능성을 보장합니다.

4. 실험 결과 (Results)

벤치마크 성능

• FRTR-Bench (복잡한 기업 워크북): BRTR 은 프런티어 모델 (GPT-5, Gemini 3 Pro 등) 을 사용하여 99% 정확도를 달성했습니다. 이는 단일 패스 검색 기반 FRTR 보다 25% 포인트 높은 성능입니다. 특히 이미지 해석이 필요한 쿼리에서 기존 방법론의 한계를 극복했습니다.
• SpreadsheetLLM 벤치마크: 97~98% 정확도를 기록하여 기존 압축 기반 방법론 (89~91%) 보다 7% 포인트 이상 우위를 점했습니다.
• FINCH (재무 및 회계 워크플로우): 172 개의 복잡한 엔터프라이즈 워크플로우에서 95.3% 정확도를 달성하여, 단일 호출 에이전트 (Naive) 대비 32% 포인트 향상된 성능을 보였습니다.

모델 비교 및 비용 효율성

• LLM 성능: GPT-5, Claude Opus 4.6, GPT-5.2 등 프런티어 모델이 높은 정확도를 보였으나, GPT-5.2 는 **가장 높은 효율성 (낮은 토큰 소모, 짧은 지연 시간)**을 보여주어 비용 - 정확도 트레이드오프 측면에서 가장 우수했습니다.
• 임베딩 모델: NVIDIA NeMo Retriever 1B 가 Recall@10(0.60) 및 nDCG@10(0.42) 에서 가장 높은 성능을 보였습니다.
• Ablation Study (성분 제거 실험):
  • 플래너 제거: 정확도가 20% 포인트 하락 (88% → 68%) 하며 토큰 소모는 40% 증가했습니다.
  • 에이전트 루프 제거: 정확도가 **0%**로 떨어졌으며, 반복적 추론이 필수적임을 입증했습니다.
  • 검색 (Retrieval) 제거: 전체 파일 주입 방식은 컨텍스트를 과부하시켜 정확도가 52% 로 낮아졌습니다.

5. 의의 및 결론 (Significance)

• 새로운 패러다임: 스프레드시트 분석을 단순한 데이터 추출이 아닌, **반복적인 증거 수집과 추론 (Reasoning)**이 필요한 에이전트 작업으로 재정의했습니다.
• 실무 적용 가능성: 복잡한 기업 환경의 다중 시트, 비정형 데이터, 시각적 요소를 포함한 워크플로우를 자동화할 수 있는 실용적인 솔루션을 제시했습니다.
• 확장성: 스프레드시트뿐만 아니라 PDF, 이미지 등 이질적인 아티팩트를 처리할 수 있는 범용성을 보여주며, 향후 다른 구조화된 문서 유형으로 확장 가능한 기반을 마련했습니다.

이 논문은 LLM 이 복잡한 기업용 스프레드시트에서 인간 분석가와 유사한 수준의 다단계 추론 능력을 갖추기 위해서는 반복적인 도구 호출, 체계적인 작업 분해, 그리고 고품질 멀티모달 검색이 필수적임을 입증했습니다.