기술 요약: 스프레드시트의 다음 동작 예측 평가를 위한 벤치마크 및 프레임워크

문제 정의

예측 기반 코드 완성 기능이 소프트웨어 엔지니어링에서 개발 생산성을 크게 가속화한 것과 달리, 스프레드시트 저작을 위한 유사한 기능은 거의 존재하지 않습니다. 스프레드시트의 보편성에도 불구하고, 현재의 자동화 도구는 특정 시나리오(예: 수식 생성 또는 FlashFill을 통한 열 유도)에 국한되어 있거나 자연어 에이전트를 명시적으로 호출해야 합니다. 일상적이고 반복적인 편집의 경우, 프롬프트를 작성하고 응답을 기다리는 오버헤드가 직접 조작하는 비용보다 커지는 경우가 많아 사용자는 결국 수동 입력 방식을 선택하게 됩니다.

일반화된 스프레드시트용 차기 동작 예측기 개발의 주요 장벽은 두 가지입니다:

1. 데이터 부족: 상세한 버전 히스토리를 가진 코드와 달리, 공개된 스프레드시트 코퍼스는 세밀한 편집 이력을 제공하지 않습니다. 기존 데이터셋은 대개 정적인 스냅샷이나 높은 수준의 진화 과정만을 포착합니다.
2. 평가 복잡성: 스프레드시트 작업 공간은 공간적, 시간적, 복합적 연산을 포함하는 복잡한 구조를 가집니다. 또한, 단순히 "주어진 히스토리 $x$에 대해 다음 동작 $y$를 예측한다"는 식의 정적(교사 강요, teacher-forced) 평가는, 수용된 예측이 미래의 상태와 후속 사용자 요구를 변화시키는 역동적인 사용자 상호작용의 특성을 포착하지 못합니다.

방법론

1. 벤치마크 데이터셋 구축

편집 이력의 부재를 해결하기 위해, 저자들은 52개의 고품질 궤적(총 11,907개 연산)을 큐레이션했습니다. 이 궤적들은 정적인 공개 워크북으로부터 스프레드시트가 생성되는 과정을 재구성한 것입니다. 구축 파이프라인은 세 단계로 구성됩니다:

• 심볼릭 콜드 스타트(Symbolic Cold-Start): 시각-언어 모델(VLM)이 정적 시트에 의미론적 메타데이터(영역, 의존성, 붙여넣기 범위)를 주석으로 달고, 심볼릭 휴리스틱이 최종 상태를 셀 단위 연산으로 분해하며, 인접한 동일 연산을 범위 동작으로 병합합니다.
• LLM 정제(LLM Refinement): LLM 기반의 판사-편집 루프가 심볼릭 시퀀스의 부자연스러운 패턴(예: 흩어져 있는 개별 셀 서식을 범위 동작으로 통합하거나 불필요한 서식 제거)을 식별하고 수정합니다.
• 인간 주석(Human Annotation): 인간 주 annotator가 남은 부자연스러운 하위 시퀀스를 수정하기 위해 최종 검수를 수행합니다. 이 단계는 매우 중요하며, 주석 전후의 평균 정규화 편집 거리는 0.69이며, 52개 중 19개의 궤적은 사실상 처음부터 다시 작성되었습니다.

데이터셋은 입력, 병합, 서식 지정(글꼴, 채우기, 테두리, 정렬), 붙여넣기, 자동 채우기를 포함한 다양한 연산을 다룹/니다.

2. 온라인 평가 프레임워크

본 논문은 단순한 단계별 점수 산출을 넘어 실제 사용자 워크플로우를 시뮬레이션하는 온라인 평가 프레임워크를 제안합니다.

• 프로세스: 시스템은 $n$개의 동작 히스토리를 관찰하고, 0개 이상의 동작 시퀀스를 예측합니다.
• 수용/거절(Acceptance/Rejection): 수용 휴리스틱(예: 정밀도 임계값, 사용자 동작 절감량)에 따라 예측은 수용되거나 거절됩니다.
• 상태 적응(State Adaptation):
  • 수용 시: 미래의 정답 궤적이 동적으로 업데이트됩니다. 성공적인 예측은 그에 대응하는 미래의 연산을 제거합니다. 거짓 양성(False Positive)은 오류를 되돌리기 위해 역연산(예: 잘못된 채우기 지우기)을 삽파입합니다.
  • 거절 시: 예측은 폐기되며, 다음 정답 사용자 동작이 히스토리에 추가됩니다.
• 종료: 목표 스프레드시트에 도달하거나 단계 임계값을 초과할 때까지 루프가 반복됩니다.

3. 지표

프레임워크는 세 가지 세분화 수준에서 지표를 계산합니다:

• 속성/동작 수준(Property/Action Level): 개별 (셀, 속성) 쌍을 참 양성(TP), 거짓 양성(FP), 거짓 음성(FN), 또는 불일치(MM)로 분류합니다.
• 예측 수준(Prediction Level): 정밀도(Precision)(올바른 속성의 비율)와 **사용자 동작 절감량(User Actions Saved, UAS)**을 측정하며, 이는 예측이 수용되었을 때의 순적인 사용자 노력 감소량을 정량화합니다.
• 에뮬레이션 수준(Emulation Level): 수용률(Acceptance Rate, AR), 평균 정밀도, 그리고 예측 가능 범위(Predictability Coverage, PCOV)(오라클에 의해 결정된 이론적으로 예측 가능한 동작 중 실제로 생성된 동작의 비율)를 추적합니다.

4. 베이스라인 솔버

프레임워크는 세 가지 계열의 솔버를 평가합니다:

• 제로샷 LLM: 히스토리와 연산 구문을 프롬프트로 사용하는 모델들(GPT-5 변형 모델들).
• 미세 조정된 SLM: 합성 연산 시퀀스로 학습된 SmolLM2(135M 및 360M 파라미터) 모델들.
• 고전적 ML: N-gram 모델(학습 및 온라인), LSTM, 그리고 XGBoost.

주요 결과

• 학습 가능성(Learnability): 이 작업은 학습 가능합니다. 모델 성능과 성능 사이에는 명확한 상관관계가 존재합니다. 추론 능력을 갖춘 GPT-5는 단일 동작 재예측 설정에서 32.7%의 UAS를 달간한 반면, GPT-5 mini는 18.0%를 기록했습니다. 미세 조정된 SmolLM2-360M(26.8% UAS)은 훨씬 작은 크기임에도 불구하고 GPT-5(27.4%)의 성능에 근접했습니다.
• 중단(Abstention)의 중요성: 중단 능력이 없는 모델은 성능이 저조합니다. 모든 예측을 수용하는 "ALWAYS" 휴리스틱은 낮은 정밀도(9.3%)로 인해 -19.2% UAS(순 손실)를 기록했습니다. 이는 언제 예측하지 않을지를 아는 것이 예측 정확도만큼 중요하다는 것을 확인시켜 줍니다.
• 트리거 빈도(Trigger Frequency): 매 사용자 동작마다($s=1$) 예측기를 호출하는 것이 가장 높은 UAS(27.4%)를 기록했습니다. 이는 낮은 수용률(30.9%)에도 불구하고, 낮은 빈도의 트리거보다 더 높은 수치를 보인 것입니다. 이는 사용자가 큰 페널티 없이 잘못된 제안을 거절할 수 있으므로, 저렴하고 빈번한 트리거가 가치 있음을 시사합니다.
• 동작 카테로리: 내용 중심의 연산(입력, 붙여넣기, 채우기)은 제시적 연산(정렬, 테두리)보다 높은 수용률을 보입니다. 미세 조정은 기본 모델이 어려움을 겪었던 구조적 카테고리(테두리, 채우기, 자동 채우기)에서 성능을 크게 향상시켰습니다.
• 컨텍스트 길이: 컨텍스트 윈도우를 32에서 128개 연산으로 늘리면 UAS가 개선되지만, 128개를 넘어서면 이득이 급격히 감소합니다. 이는 대부분의 예측 신호가 최근 히스토리에 존재함을 시사합니다.
• 예측 길이: 다중 동작 설정에서 무제한 예측 범위가 가장 좋은 성능을 보였습니다. 예측당 동작 수를 제한하면 UAS가 감소하는데, 이는 모델이 반복적인 패턴에 대해 긴 시퀀스를 생성하도록 허용될 때 스스로를 잘 조절함을 나타냅니다.

의의 및 기여

본 논문의 주요 기여는 다음과 같습니다:

1. 벤치마크 데이터셋: 편집 이력 데이터의 결핍을 해결하기 위해 인간이 검증한 정답을 포함한 52개의 스프레드시트 생성 궤적(11,907개 연산)을 구축한 최초의 데이터셋입니다.
2. 온라인 평가 프레임워크: 사용자 수용 행동을 모델링하고 정답 궤적을 동적으로 적응시키는 새로운 평가 방법론을 제안합니다. 이는 정적 오프라인 평가가 놓치는 실제 유용성과 오류 누적 효과를 포착합니다.
3. 설계 통찰력: 이 프레임워크를 다양한 베이스라인에 적용함으로써 다음을 입증했습니다:
   • 동작 예측은 대규모 모델과 소규모 모델 모두에게 실행 가능한 과제입니다.
   • **중단 메커니즘(Abstention mechanisms)**은 유용성에 필수적입니다. 모델은 확신이 낮을 때 예측을 억제하는 법을 배워야 합니다.
   • 저렴한 트리거(빈번한 예측 시도)는 높은 확신의 순간을 기다리는 것보다 더 효과적입니다.
   • 도메인 특화 연산 시퀀스로 미세 조정하면 소규모 모델이 제로샷 LLM과 대등한 성능을 낼 수 있습니다.

저자들은 이 벤치마크와 프레임워크가 스프레드시트의 프로액티브(proactive)하고 모델리스(modeless)한 어시스턴트를 개발하기 위한 필수적인 토대를 제공한다고 결론지었습니다. 또한, 이 문제를 해결하기 위해 에너지 효율적인 방법(미세 조정된 SLM 등)에 대한 연구를 적극 권장합니다.