MUSE: An Interactive Meta-Agent for Understanding and Steering LLM-powered Data Science Systems

데이터 과학은 가공되지 않은 숫자를 세상을 설명하는 이야기로 바꾸는 예술입니다. 수십 년 동안 이 작업은 전문가들이 지저분한 데이터를 정제하고, 맞춤형 컴퓨터 코드를 작성하며, 결과가 타당한지 확인하기 위해 끊임없이 자신의 작업을 검토하는 느리고 반복적인 과정이었습니다. 이는 분석가와 데이터 사이의 대화이며, 하나의 질문이 또 다른 질문으로 이어지고, 새로운 패턴이 나타남에 따라 초기 결정이 종종 재검토되기도 합니다. 최근에는 대규모 언어 모델이라고 불리는 강력한 컴퓨터 프로그램들이 이 분야의 조수 역할을 하기 시작했습니다. 이 디지털 에이전트들은 "우리 제품 구매를 중단할 고객을 예측해 줘"와 같은 간단한 요청을 듣고, 이를 해결하는 데 필요한 코드를 자동으로 작성하고, 데이터를 정제하며, 수학적 모델을 구축할 수 있습니다. 이것은 복잡한 분석을 누구에게나 가능하게 할 것이라는 약속을 담고 있지만, 새로운 문제가 발생했습니다. 자동화된 조수가 실수를 저질렀을 때, 인간이 무엇이 잘못되었는지 알아내거나 기계에게 어떻게 수정하라고 말하는 것이 매우 어렵다는 점입니다. 컴퓨터의 내부 사고 과정은 종-종 코드와 기술적 로그가 뒤섞인 복잡한 흐름으로 되어 있어 비전문가에게는 횡설수설처럼 보이며, 이로 인해 사용자는 상황이 궤도를 벗어났을 때 과정을 제어할 수 없게 됩니다.

퍼듀 대학교와 마이크로소프트 리서치의 연구진은 이러한 투명성과 통제의 문제를 해결하기 위해 MUSE라는 새로운 시스템을 개발했습니다. MUSE는 인간 사용자와 자동화된 데이터 과학 에이전트 사이에 위치하는 지능적인 번역기이자 감독관 역할을 합니다. MUSE는 사용자에게 혼란스러운 가공되지 않은 코드와 에러 메시지의 벽을 보여주는 대신, 에이전트의 활동을 명확하고 단계적인 서사로 재구성합니다. 이 시스템은 에이전트가 무엇을 하고 있는지 평이한 영어로 설명하는 단순한 요약부터, 에이전트가 작성한 구체적인 코드 한 줄에 이르기까지 다섯 가지의 뚜렷한 세부 수준으로 복잡한 워크플로우를 분해합니다. 이를 통해 사용자는 전체적인 그림을 먼저 본 다음, 마치 책을 읽다가 문장이 이해되지 않을 때만 각주를 확인하는 것처럼, 자신이 이해하고자 하는 특정 단계로만 줌인(zoom in)할 수 있습니다.

이 시스템은 단순히 요약하는 것에 그치지 않고, 에이전트를 능동적으로 감시합니다. 자동화된 조수가 작업하는 동안 MUSE는 실시간으로 그 동작을 모니터링합니다. 만약 에이전트가 중요한 데이터를 삭제하거나 모델을 학습시키는 데 결함이 있는 방법을 사용하는 등 의심스러운 움직임을 보이면, MUSE는 즉시 해당 단계를 경고와 함께 표시합니다. 결정적으로, MUSE는 단순히 "무언가 잘못되었다"라고 말하는 데 그치지 않습니다. 왜 그 단계가 문제가 되는지를 자연어로 설명하고, 사용자가 대화 도중에 바로 수정할 수 있는 방법을 제공합니다. 사용자는 표시된 단계를 대화창으로 끌어다 놓거나, 시스템에 문제 설명을 요청하거나, 제안된 수정 사항 목록 중에서 선택하기만 하면 됩니다. 이는 사용자가 오류를 찾기 위해 몇 시간 동안 로그를 뒤지거나, 이를 바로잡기 위해 복잡한 지침을 작성해야 할 필요성을 없애줍니다. 또한 이 시스템은 에이전트가 생성한 숫자가 실제로 정확한지 확인하기 위한 간단한 검증 절차를 생성하여 사용자가 결과를 검증하도록 돕습니다.

연구진은 이 접근 방식이 실제로 도움이 되는지 확인하기 위해, 다양한 기술적 경험을 가진 15명의 참가자를 대상으로 연구를 수행했습니다. 연구진은 이들에게 세 가지 서로 다른 환경에서 데이터 과학 과제를 완료하도록 요청했습니다: 첫 번째는 가공되지 않은 혼란스러운 로그만을 보는 환경, 두 번째는 구조화된 요약을 보되 수동으로 오류를 수정해야 하는 환경, 세 번째는 전체 MUSE 시스템을 사용하는 환경이었습니다. 결과는 새로운 시스템의 명확한 우위를 보여주었습니다. MUSE를 사용한 참가자들은 가공되지 않은 로그를 보던 사람들(평균 26분 소ৰ요)에 비해 평균 17분이 걸려 훨씬 빠르게 과제를 마쳤습니다. 또한 그들은 최종 결과에 대해 훨씬 더 높은 확신을 느꼈다고 보고했습니다. 연구 결과, 이 시스템은 사용자가 기술적인 세부 사항에 매몰되지 않고도 오류를 빠르게 발견하고 수정할 수 있도록 도와, 혼란스러운 블랙박스를 투명하고 협력적인 파트너로 변화시킨 것으로 나타났습니다.

연구진은 MUSE를 사용할 때 사람들의 상호작용 방식이 극적으로 변한다는 것을 관찰했습니다. MUSE가 없다면 사용자들은 실수를 찾아내기 위해 코드 줄을 끝없이 스크롤하며 희망을 품는 경향이 있었고, 이는 느리고 좌절감을 주는 과정이었습니다. MUSE와 함께라면 그들은 검색을 멈추고 검사를 시작했습니다. 그들은 경고를 사용하여 문제 영역으로 직접 뛰어들었고, 내장된 도구를 사용하여 질문을 하거나 변경을 요청했습니다. 이 연구는 자동화된 데이터 과학 도구를 사용하는 데 있어 주요 장벽은 코드를 작성하는 능력이 아니라, 자동화된 과정을 이해하고 가이드하는 능력임을 시사합니다. 컴퓨터의 출력을 인간이 읽을 수 있는 단계로 재구조화하고 개입할 수 있는 직접적인 방법을 제공함으로써, MUSE는 인간의 의도와 기계의 실행 사이의 간극을 메우며 강력한 데이터 분석을 훨씬 더 넓은 범위의 사람들에게 접근 가능하게 만듭니다.