Auditing and Controlling AI Agent Actions in Spreadsheets

1. 문제 정의 (Problem)

현재 AI 에이전트 기술은 복잡한 다단계 지식 작업 (데이터 분석, 코드 작성 등) 을 자율적으로 수행할 수 있게 발전했지만, 사용자는 에이전트의 실행 과정을 실시간으로 감시하거나 개입할 수 있는 수단이 부족합니다.

• 투명성 부재: 에이전트가 최종 결과를 반환할 때까지 사용자는 중간 결정 과정, 가정, 오류를 볼 수 없습니다.
• 스프레드시트의 특수성: 코드 에이전트와 달리 스프레드시트에서는 '결과물 (아티팩트)'과 '계산 로직'이 분리되지 않습니다. 에이전트의 모든 결정이 사용자가 소유하고 책임져야 하는 셀 (Cell) 에 직접 기록됩니다.
• 사후 검토의 한계: 기존 시스템은 사용자가 최종 결과만 검토하도록 설계되어 있어, 오류가 발생했을 때 그 원인을 파악하거나 의도치 않은 방향으로 진행 중인 작업을 수정하기 어렵습니다. 사용자는 에이전트의 추론 과정을 재구성해야 하는 인지적 부담을 겪습니다.

2. 제안 시스템: Pista (Methodology & System)

저자들은 스프레드시트 AI 에이전트 Pista를 개발하여 에이전트의 실행을 감사 가능하고 제어 가능한 단계로 분해했습니다. Pista 는 Microsoft Excel 애드인으로 구현되었으며, 다음과 같은 핵심 설계 목표와 기능을 가집니다.

핵심 설계 목표 (Design Goals)

1. 추적 가능하고 소화 가능한 실행 (Traceable & Digestible): 에이전트의 실행을 너무 세분화하지 않으면서도 중요한 데이터 변경이나 논리적 결정이 일어나는 시점에서 멈추고 사용자의 확인을 받습니다.
2. 세분화된 개입 및 탐색적 개선 (Granular Intervention): 사용자가 특정 단계만 수정하고 그 이후의 실행 경로를 재구성할 수 있도록 지원합니다.
3. 작업 명세 및 탐색 지원 (Scaffolding): 사용자가 작업을 시작하기 전 의도를 명확히 하고, 실행 중 무엇을 질문하거나 수정해야 할지 안내합니다.

주요 기능 (Key Features)

• 단계별 분해 (Decomposing Agent Execution): 에이전트가 작업을 한 번에 수행하는 대신, 논리적 단위로 나누어 단계별로 진행합니다.
• 현장 설명 (In-situ Explanations): 각 단계에서 에이전트가 무엇을, 왜 수행했는지 자연어 설명과 함께 표시합니다.
• 계산 로직 노출 (Surfacing Computation Logic): 단순한 셀 값 변경이 아닌, 적용된 수식 (Formula), 데이터 범위, 의존성을 UI 에 직접 보여줍니다. (예: SUMIF 수식이 적용된 경우, 해당 수식과 소스 범위를 명시)
• 국소적 편집 (Localized Editing): 특정 단계에서 발생한 오류나 의도 불일치를 수정할 때, 전체 작업을 다시 수행 (Re-prompting) 하는 것이 아니라 해당 단계만 수정하고 이후 단계를 재생성합니다.
• 분기 탐색 (Branching Exploration): 수정으로 인해 하위 단계의 논리가 바뀔 경우, Pista 는 자동으로 새로운 실행 경로 (Branch) 를 생성합니다. 사용자는 기존 경로와 수정된 경로를 비교하며 최적의 결과를 선택할 수 있습니다.
• 작업 명세 지원 (Scaffolded Task Formulation): 초기 프롬프트를 바탕으로 에이전트가 수행할 결정 사항 (예: 결측값 처리 방식) 을 리스트로 제시하여 사용자가 수정하거나 추가할 수 있게 합니다.
• 질문 및 제안 (Scaffolding Questions): 각 단계에서 사용자가 에이전트의 추론을 심층적으로 질문하거나, 고려하지 않았던 대안적 접근법을 제안받습니다.

3. 연구 방법 (Evaluation)

• 형성적 연구 (Formative Study, N=8): 기존 스프레드시트 에이전트의 한계를 파악하고 Pista 의 설계 방향을 설정하기 위해 진행되었습니다. 평가, 실행, 상상 (Envisioning) 의 '갭 (Gulf)' 문제를 식별했습니다.
• 총괄적 평가 (Summative Evaluation, N=16): Pista 와 기존 방식 (Baseline, 에이전트가 한 번에 결과를 생성하는 방식) 을 비교하는 대상 내 (Within-subjects) 실험을 수행했습니다.
  • 작업: SpreadsheetBench 벤치마크 기반의 재무 분석 작업 (가격 포인트 자동화, 가중치 수익 계산 등).
  • 측정 지표: 작업 성공률, 발견된 오류 수, 프롬프트 횟수 및 길이, 사용자의 이해도 (구두 설명 분석), 통제감 및 신뢰도 설문.

4. 주요 결과 (Results)

• 이해도 향상 (RQ1): Pista 를 사용한 사용자는 에이전트의 변경 사항과 그 이유를 훨씬 더 잘 이해했습니다.
  • 심층 이해: Pista 사용자의 설명은 에이전트의 절차적 단계, 메커니즘, 수식 로직을 더 많이 포함했습니다 (평균 코드 수 4.38 vs 2.94).
  • 투명성: "블랙박스"였던 기존 방식과 달리, Pista 는 각 단계의 수식과 논리를 명확히 보여줘 사용자가 중간에 오류를 발견하고 검증할 수 있게 했습니다.
• 효과적인 제어 및 수정 (RQ2):
  • 오류 탐지: Pista 그룹이 더 많은 오류를 발견했습니다 (평균 2.12 개 vs 1.75 개).
  • 효율성: Pista 는 전체 작업을 다시 요청하는 대신 특정 단계만 수정하는 '국소적 편집'을 가능하게 하여, 필요한 프롬프트 횟수와 길이를 크게 줄였습니다 (프롬프트 길이: 12.9 단어 vs 27.6 단어).
  • 통제감과 공동 소유권: 사용자는 결과물에 대한 공동 소유권 (Co-ownership) 을 느끼고, 에이전트의 행동을 더 잘 통제할 수 있다고 보고했습니다.
• 신뢰 형성: 사용자는 결과물의 정확도 때문이 아니라, 과정 참여를 통해 에이전트를 더 신뢰하게 되었습니다. 검증 과정 자체가 신뢰를 강화하는 요인이 되었습니다.

5. 기여 및 의의 (Contributions & Significance)

이 논문은 AI 에이전트와 인간의 협업 패러다임에 중요한 통찰을 제공합니다.

1. 참여를 통한 신뢰 (Trust through Participation): 기존의 사후 검토 (Post-hoc review) 중심의 접근법을 넘어, 실행 과정에 사용자가 참여하는 것이 의미 있는 감독 (Oversight) 의 핵심임을 증명했습니다.
2. 시맨틱 차분 (Semantic Diff) 개념 도입: 에이전트 시스템에서 변경 사항의 단위를 '화면상의 픽셀/셀'이 아닌, 그 변화를 이끄는 의미론적 단위 (수식, 규칙, 연산) 로 제시해야 함을 주장합니다. 이는 사용자의 검증 부담을 획기적으로 줄여줍니다.
3. 상상력의 갭 (Gulf of Envisioning) 해소: 사용자가 무엇을 수정해야 할지 모르는 상황에 대해, 시스템이 구체적인 수정 제안과 질문을 통해 사용자의 의도 형성을 지속적으로 지원합니다.
4. 범용성: 이 접근법은 스프레드시트뿐만 아니라 코드 생성, 문서 작성 등 구조화된 아티팩트를 생성하는 모든 AI 에이전트 시스템에 적용 가능한 설계 원칙을 제시합니다.

결론적으로, Pista 는 AI 가 단순히 결과를 제공하는 도구가 아니라, 사용자가 그 과정을 함께 여행하며 검증하고 수정할 수 있는 공동 작업자 (Co-pilot) 로서의 역할을 가능하게 하는 시스템입니다. 이는 고위험 지식 작업에서 AI 의 투명성과 인간의 통제력을 동시에 확보하는 새로운 표준을 제시합니다.