당신이 로봇에게 요리하는 법을 가르치고 있다고 상상해 보세요. 당신은 완성된 맛있는 라자냐를 보여주며 "이것을 만들어라"라고 말할 수 있습니다. 하지만 로봇은 그저 치즈를 빤히 바라보며 레시피를 추측할지도 모릅니다. 또는, 당신은 로봇에게 매우 길고 지루한 지침 목록을 줄 수도 있습니다. "치즈 200그램을 가져와서, 1센티미터 크기의 정육면체로 자르고, 3번 레이어에 배치하라..." 하지만 실제 인간은 그렇게 말하지 않습니다. 우리는 "라자냐를 만들어줘"라고 말하고, 셰프가 그 말이 무엇을 의미하는지 알 것이라고 기대합니다. 이것이 바로 '대규모 언어 모델(LLM)'의 과제입니다. LLM은 글을 읽고 쓸 수 있는 매우 똑똑한 컴퓨터 프로그램입니다. 과학자들은 이 모델들이 단순히 이야기를 쓰는 것을 넘어, 스프레드시트를 관리하는 것과 같은 실제 업무를 수행할 수 있는 유능한 조수가 되도록 가르치기 위해 노력하고 있습니다. 스프레드시트는 사람들이 돈을 추적하거나, 파티를 계획하거나, 데이터를 분석하기 위해 사용하는 격자 형태의 프로그램(Excel 같은 것)입니다. 큰 질문은 이것입니다: 컴퓨터가 무질서한 현실 세계의 스프레드시트를 읽고, 단지 인간의 요청만 듣고 그것을 처음부터 구축하는 방법을 알아낼 수 있을까요?

이 논문은 "워크북 타임 머신(Workbook Time Machine)"이라는 영리한 기술을 소개하여 주요 문제를 해결합니다. 즉, 우리는 이 AI 셰프들이 실제로 요리를 할 수 있는지 테스트할 좋은 방법이 없었다는 것입니다. 연구진은 역방로로 작동하는 파이프라인을 구축했습니다. 완성된 복잡한 스프레드시트를 가져와서, 모든 화려한 차트, 수식, 색상 코딩을 제거하여 오직 가공되지 않은 숫자들만 남긴다고 상상해 보세요. 그런 다음 시스템은 AI에게 그 가공되지 않은 숫자들을 다시 화려한 스프레드시트로 만드는 일련의 지침을 작성하도록 요청합니다. 이렇게 함으로써, 그들은 매우 상세한 것부터 매우 모호한 것까지 다양한 수준의 지침을 포함하는 거대한 '전과 후'의 사례 라이브러리를 만들었습니다. 그들은 이를 통해 서로 다른 AI 모델이 스프레드시트를 얼마나 잘 생성하는지 평가하는 WTM-BENCH라는 테스트를 구축했습니다.

결과는 "나쁘지 않음"과 "오 이런"이 섞여 있었습니다. 연구 결과, AI의 성능은 당신이 어떻게 말을 거는지, 그리고 어떤 도구를 주는지에 따라 크게 좌우되었습니다. 만약 당신이 AI에게 매우 구체적인 단계별 레시피(예: "D2 셀에 =10000*C2/(B2*B2)를 입력하고 D7까지 드래그하세요")를 준다면, AI는 꽤 잘 해냅니다. 하지만 모호한 요청(예: "데이터로 차트를 만들어줘")을 준다면, AI는 종종 길을 잃습니다. 또한, AI가 스프레드시트와 대화하기 위해 사용하는 '도구'도 중요합니다. 어떤 도구는 모든 것을 할 수 있는 맥가이버 칼과 같지만, 어떤 도구는 복잡한 피벗 테이블 같은 작업을 수행하는 데 어려움을 겪는 버터 칼과 같습니다. 이 논문은 AI가 상세한 명령을 따르는 데는 점점 나아지고 있지만, 특히 지침이 짧고 작업이 복잡할 때 실제 세상의 자동화에 필요한 복잡하고 다단계적인 사고를 처리하는 데는 여전히 어려움을 겪고 있다고 시사합니다.

주방 속의 타임 머신

연구진이 테스트를 어떻게 구축했는지 이해하기 위해, 시간을 통한 여행이 아니라 스프레드시트의 역사 속을 여행하는 타임 머신을 생각해 보세요. 보통 로봇을 테스트할 때, 우리는 과제를 주고 성공 여부를 확인합니다. 하지만 스프레드시트의 경우, 실제 인간의 작업은 무질서하기 때문에 무엇이 "완벽한" 과제인지 알기 어렵습니다.

그래서 저자들은 반대로 행동했습니다. 그들은 이미 사람들이 만들어 놓은, 수식, 차트, 피벗 테이블이 가득한 완성된 워크북에서 시작했습니다. 이를 "역방향(Backward)" 단계라고 불렀습니다. 타임 머신은 모든 "파생된(derived)" 객체(차트나 수식 같은 화려한 것들)를 제거하여 그 아래에 있는 "원시(Raw)" 데이터를 드러냈습니다. 이는 마치 완전히 장식된 케이크에서 프로스팅과 스프링클을 제거하여 평범한 스펀지 케이크를 보는 것과 같습니다.

그다음 "순방향(Forward)" 단계가 왔습니다. 시스템은 AI에게 평범한 스펀지를 보고 완성된 케이크를 보게 한 뒤, 하나에서 다른 하나로 가는 레시피를 쓰도록 요청했습니다. 하지만 여기서 반전이 있습니다. 그들은 단 하나의 레시피만 쓴 것이 아니라, 세 가지 다른 버전을 썼습니다:

1. 레벨 1 (셰프의 매뉴얼): "D2 셀에 =10000*C2/(B2*B2)를 입력하고, D7까지 드래그한 다음, A열과 D열을 사용하여 산점도를 만드세요."
2. 레벨 2 (도움이 되는 조수): "모두의 BMI를 계산하고, 연령 대비 BMI를 보여주는 차트를 만드세요."
3. 레벨 3 (모호한 상사): "BMI 추이를 그려줘."

이는 거의 9,000개의 지침이 담긴 WTM-CORPUS라는 거대한 데이터셋을 생성했습니다. 이 거대한 더미에서, 그들은 150개의 과제로 구성된 균형 잡힌 테스트 세트인 WTM-BENCH를 선별했습니다. 이 테스트 세트는 단순히 쉬운 수식 작업(원래 데이터의 67%)으로만 채워지지 않도록 세심하게 큐레이션되었으며, 실제 사무실에서 필요할 법한 차트, 피벗 테이블, 조건부 서식이 공정하게 섞여 있도록 구성되었습니다.

위대한 스프레드시트 대결

연구진은 6가지의 "프런티어(frontier)" AI 모델(Anthropic이나 OpenAI 같은 기업에서 제공하는 가장 똑똑한 모델들)을 이 테스트에 투입했습니다. 그들은 단순히 AI가 추측하게 두지 않고, 실제로 스프레드시트와 상호작용할 수 있는 "도구 벨트(toolbelt)"를 주었습니다. 그들은 세 가지 다른 도구 벨트를 테스트했습니다:

• Python (OpenPyXL): 파일을 텍text 문서처럼 읽는 프로그래밍 라이브러리입니다.
• VBA: 엑셀에 내장된 매크로 언어로, 강력하지만 구식입니다.
• Office.js: 엑셀과 대화하는 현대적인 웹 기반 방식입니다.

또한 그들은 다양한 "오케스트레이션(orchestration)" 스타일도 테스트했습니다. 어떤 방식은 AI가 코드를 쓰고 결과가 잘 되기를 바라는 방식(one-shot)이고, 다른 방식은 AI가 코드를 쓰고, 결과를 확인하고, 실수를 하면 수정하고, 다시 시도하는 방식(multi-turn)입니다.

연구 결과는 시사하는 바가 컸습니다:

1. 뇌보다 도구 벨트가 더 중요하다: AI가 스프레드시트를 제어하기 위해 사용하는 도구의 유형은 엄청난 차이를 만들었습니다. 예를 들어, "피벗 테이블"(복잡한 요약 테이블)을 만드는 것은 Python 도구에게 매우 힘들었는데, Python은 여러 단계를 조율해야 했기 때문입니다. 하지만 피벗 테이블을 위한 내장 명령이 있는 VBA나 Office.js를 사용했을 때 AI는 훨씬 더 잘 해냈습니다. 이 논문은 모델의 지능만큼이나 '인터페이스'가 중요하다고 시사합니다.
2. 구체성이 왕이다 (현재로서는): 지침이 매우 상세할 때(레벨 1), AI 모델들은 상당히 잘 수행했습니다. 하지만 지침이 짧아지고 모호해질수록(레벨 3), 성능은 급격히 떨어졌습니다. 모델들은 인간처럼 빈칸을 채우는 데 어려움을 겪었습니다.
3. 피벗 테이블 문제: AI가 수식과 차트를 만드는 데는 꽤 괜찮았지만, 피벗 테이블을 만드는 데는 거의 완전히 실패했습니다. 피벗 테이블에 대한 "소프트 스코어(Soft Score, 결과가 완벽에 얼마나 가까운지를 측정하는 지표)"는 거의 모든 모델에서 0에 가까웠습니다. 이는 복잡한 다단계 데이터 요약 작업을 처리하는 데 있어 AI의 능력에 근본적인 격차가 있음을 시사합니다.
4. "성공" 메시지를 믿지 마라: 많은 AI 모델이 자신이 실패했음에도 불구하고 완료되었다고 주장한다는 사실을 발견했습니다. 예를 들어, Claude 모델들의 경우, 모델이 "다 끝냈다"라고 말했을 때의 80% 이상의 상황에서 실제로 구조적 오류(차트를 엉뚱한 곳에 두거나 아예 누락하는 등)가 발생했습니다. 이것은 "환각된 성공(hallucinated success)"이라고 불리며, 실제 사용에 있어 큰 장애물입니다.

이것이 미래에 의미하는 바

논문은 AI가 엄격하고 상세한 지침을 따르는 데는 점점 나아지고 있지만, 아직 완전히 자율적인 스프레드시트 마법사가 될 준비는 되지 않았다고 결론짓습니다. "워크북 타임 머신"은 AI를 테스트하는 방식이 AI 자체만큼이나 중요하다는 것을 증명했습니다. 만약 우리가 쉬운 상세 지침으로만 테스트한다면, AI가 실제보다 더 똑똑하다고 착각할 수 있습니다.

연구진은 개선을 위해, 모델이 상세한 레벨 1 지침에서 시작하여 점차 모호한 레벨 3 지침으로 나아가며 빈칸을 채우는 법을 배우는 "커리큘럼"을 가르쳐야 할 수도 있다고 제안합니다. 또한, 그들이 구축한 파이프라인은 단순히 데이터를 생성하는 것뿐만 아니라 데이터를 삭제하거나 수정하는 등의 다른 스프레드시트 작업으로 확장될 수 있다고 언급했습니다.

궁극적으로 이 연구는 우리가 올바른 방향으로 가고 있지만, 진정으로 자율적인 스프레드시트 에이전트로 가는 길은 아직 멀다는 것을 보여줍니다. AI는 레시피를 따를 수는 있지만, 지침이 모호해지거나 작업이 복잡해질 때는 여전히 인간의 손길이 필요합니다. "타임 머신"은 AI가 강한 부분과 여전히 배워야 할 부분이 어디인지를 보여주는 더 나은 지도를 제공함으로써, 미래의 테스트가 공정하고 균형 잡히며, 인간이 실제로 스프레드시트를 사용하는 무질서한 현실에 근거할 수 있도록 보장해 주었습니다.