SheetMind: An End-to-End LLM-Powered Multi-Agent Framework for Spreadsheet Automation

기술 요약: SheetMind

문제 정의

자연어 인터페이스(NLI)를 통한 스프레드시트 자동화는 스프레드시트 작업의 복잡성으로 인해 상당한 어려움에 직면해 있습니다. 이러한 작업은 종종 잠재적 제약 조건, 모호한 목표, 다단계 의존성을 포함합니다. 단일 실행 코드 생성이나 단일 프롬프트 파이프라인(예: SheetCopilot, SheetAgent)과 같은 기존 솔루션은 다음과 같은 두 가지 주요 실패 모드에 취약합니다:

1. 실행 실패(Execution Failure): 생성된 명령어가 구문적으로 유효하지 않은 구조나 체크되지 않은 예외로 인해 실행 중 충돌하거나 런타임 예외를 발생시킵니다.
2. 추론 실패(Reasoning Failure): 명령어가 오류 없이 실행되더라도, 의미론적으로 잘못된 결과(예: 잘못된 열에 수식 적용 또는 잘못된 로직 사용)를 생성할 수 있습니다.

현재의 시스템들은 다단계 워크플로우에 적응하거나 실행 중 피드백을 통합할 수 있는 모듈성이 부족하여, 신뢰성과 기능적 정확성을 제한합니다.

방법론

SheetMind는 계층적 아키텍처와 제약 생성(constrained generation)을 통해 이러한 실패 모드를 해결하기 위해 설계된, 대규모 언어 모델(LLM) 기반의 모듈형 엔드 투 엔드 멀티 에이전트 프레임워크입니다. 이 시스템은 세 가지 특화된 에이전트를 통해 작동합니다:

1. 매니저 에이전트 (계층적 분해)

매니저 에이전트는 복잡한 사용자 지침을 해석하고 이를 의미론적으로 일관된 하위 작업(subtask)의 순차적인 시퀀스로 분해합니다. 각 하위 작업은 단일 원자적 스프레드시트 연산에 대응합니다. 이는 단일 에이전트 시스템이 여러 연산을 하나의 깨진 명령어로 병합하려고 시도하거나, 다단계 작업의 첫 번째 단계만 실행하는 흔한 실패를 방지합니다.

2. 액션 에이전트 (BNF 제약 생성)

제약되지 않은 LLM 출력(예: 환각된 API 호출 또는 불완전한 명령어)으로 인한 실행 실패를 완화하기 위해, 액션 에이전트는 Backus–Naur Form (BNF) 문법을 사용하여 하위 작업을 구조화된 명령어로 변환합니다.

• 메커니즘: LLM은 유효한 연산(예: SELECT, SET, DELETE, FORMAT)을 정의하는 생성 규칙을 엄격히 준수하도록 제약을 받습니다.
• 결과: 이를 통해 생성된 모든 액션이 구문적으로 실행 가능함을 보장하며, 잘못된 형식의 명령어로 인한 런타임 예외를 제거합니다.

3. 리플렉션 에이전트 (반복적 검증)

구문적 유효성이 의미론적 정확성을 보장하지는 않습니다. 리플렉션 에이전트는 실행 후 상태 비교를 수행하여 추론 오류를 감지합니다.

• 프로세스: 액션이 실행된 후, 에이전트는 연산 전후의 스프레드시트 상태를 하위 작업 설명과 비교합니다.
• 피드백 루프: 에이전트는 다음과 같은 범주적 판단을 내립니다:
  • A (정상): 다음 하위 작업으로 진행.
  • B (오류): 피드백을 프롬프트에 추가하여 재생성 트리거.
  • C (변화 없음): 액션 재시도.
• 에스컬레이션: 하위 작업이 반복적으로 실패할 경우(예: 3회 재시도 후), 시스템은 교정 힌트를 주입하고 샘플링 온도를 높여 LLM이 대안적인 전략을 탐색하도록 유도합니다.

시스템 구현

SheetMind는 Google Workspace 확장 프로그램으로 배포됩니다. 프런트엔드는 사용자 지침과 활성 시트의 컨텍스트 데이터를 캡처하여 백엔드 파이프라인으로 전송하며, 여기서 세 명의 에이전트가 작동합니다. 검증된 액션은 Google Apps Script를 통해 실행되어 실시간 조작을 가능하게 합니다.

주요 기여

1. 3-에이전트 아키텍처: 작업 분해를 위한 매니저, BNF 제약 생성을 위한 액션 에이전트, 반복적 검증을 위한 리플렉션 에이전트로 구성된 새로운 프레임워크를 제시합니다.
2. BNF-문법 제약: 구문적 실행 가능성을 보장하는 문법 제약 명령 공간을 도입하여 실행 실패 문제를 직접적으로 해결합니다.
3. 포괄적 평가: 전체 **221개 태스크의 SheetCopilot 벤치마크(SCB-221)**를 통해 카테고리별 성능 분석과 체계적인 오류 분석을 제공합니다.
4. 절제 연구(Ablation Study): 전체 3-에이전트 구성이 부분적 변형 모델보다 일관되게 우수한 성능을 보임을 확인하는 정교한 벤치마크 분석을 수행하여, 분해와 성찰의 구체적인 가치를 입증했습니다.
5. 실제 배포: 대화형 인터페이스 확장 프로그램으로서 Google Sheets에 통합되었습니다.

실험 결과

GPT-3.5-Turbo를 사용하여 SCB-221 벤치마크에서 평가한 결과, SheetMind는 다음 지표를 달려 성과를 거두었습니다:

• 실행 신뢰성 (Exec@1): 100%. 모든 태스크가 런타임 예외 없이 출력 파일을 생성했습니다. 이는 SheetCopilot(87.3%) 및 SheetAgent(94.1%)와 같은 베이스라인을 상회하며, BNF 제약이 실행 시점의 실패를 효과적으로 제거함을 입증합니다.
• 기능적 정확성 (Pass@1): 54.8%. 이는 SheetCopilot(44.3%)보다 10.5% 포인트 높지만, SheetAgent(61.1%)보다는 약간 낮습니다. 저자들은 이 격차를 SheetAgent의 컨텍스트 예시를 위한 Retriever 컴포넌트 사용 및 실행 백엔드(pywin32 vs. openpyxl)의 차이로 설명합니다.

오류 분석

기능적 정확성을 달성하지 못한 100개의 태스크 중:

• **64.0%**는 LLM 추론 오류(예: 잘못된 수식, 열 바뀜, 잘못된 로직)였습니다. 이는 시스템 아키텍처보다는 백본 모델 자체의 추론 능력에 기인합니다.
• **20.0%**는 **반복 루프(Iteration Timeouts)**였습니다.
• **10.0%**는 숫자 형식 불일치(로케일 의존적 문자열 문제)였습니다.
• 나머지는 조건부 서식 및 기타 엣지 케이스와 관련되었습니다.

절제 연구 결과 (Ablation Findings)

• 매니저 에이전트: 복잡한 작업에 필수적입니다. 매니저를 제거하면 복잡한 지침에 대한 성공률이 71%에서 24%로 급감했습니다.
• 리플렉션 에이전트: 의미론적 오류를 포착함으로써 모든 작업 유형에서 12~14% 포인트의 일관된 추가 이득을 제공했습니다.
• 액션 전용: 문법 제약만으로는 복잡한 추론을 수행하기에 불충분했습니다 (복잡한 작업에서 18% 성공률).

의의 및 주장

본 논문은 SheetMind가 기능적 정확도에서의 미미한 차이를 대가로 완벽한 실행 신뢰성을 확보하는 새로운 트레이드오프 지점을 구축했다고 주장합니다.

• 신뢰성: BNF 문법을 통해 출력 공간을 제약함으로써, 명령어가 충돌하지 않음을 보장하며, 이는 기존의 단일형 접근 방식보다 크게 개선된 것입니다.
• 모듈성: 계층적 분해와 반복적 성찰을 통해 시스템이 다단계 워크플로우를 처리하고 의미론적 오류를 스스로 수정할 수 있게 하여, 기존의 원샷(one-shot) 또는 단일 루프 시스템의 한계를 해결합니다.
• 확장성: 저자들은 남은 기능적 정확도의 격차가 주로 사용된 특정 LLM(GPT-3.5-Turbo)의 추론 능력 한계 때문이라고 언급했습니다. 실행 및 검증을 위한 아키텍처 메커니즘은 이미 갖춰져 있으므로, 더 강력한 백본 모델이 가용해짐에 따라 SheetMind의 기능적 정확도는 직접적으로 향상될 것이라고 긍정적으로 전망합니다.

이 연구는 계층적 멀티 에이전트 협업을 결정론적 문법 제약과 결합하는 것이 견고한 엔드 투 엔드 스프레드시트 자동화를 위한 실행 가능한 전략임을 입증합니다.