Workflow Cards: Structured Summaries of Workflow Executions Using Provenance Data

당신이 마술사가 펼치는 마술을 보고 있다고 상상해 보십시오. 당신은 최종 결과물인 '모자에서 나타난 토끼'를 봅니다. 하지만 만약 당신이 토끼(즉, "모델")나 모자(즉, "데이터")만을 본다면, 가장 중요한 부분인 비밀스러운 손동작, 특정한 타이밍, 그리고 토끼가 정확히 어떤 순간에 끌어올려졌는지는 놓치게 됩니다. 컴퓨터 과학의 세계, 특히 우리가 복잡한 컴퓨터 프로그램인 "워크플로(workflow)"를 구축하고 실행하는 방식에 있어서, 우리는 재료와 완성된 요리를 기록하는 데는 뛰어났지만, 실제 조리 과정을 기록하는 데는 서툴렀습니다. 우리에게는 "모델 카드"(완성된 요리의 레시피 카드 같은 것)와 "데이터 카드"(재료의 라벨 같은 것)는 있지만, 컴퓨터가 실제로 작업을 수행한 과정에 대한 명확하고 읽기 쉬운 요약본은 부족합니다. 이것은 우리가 결과가 어떻게 만들어졌는지 정확히 알지 못한다면, 그 결과를 신뢰할 수 없고, 틀렸을 때 고칠 수도 없으며, 나중에 똑같이 재현할 수도 없다는 점에서 매우 중요합니다.

이 논문은 이 빠진 연결 고리를 해결하기 위해 "워크플로 카드(Workflow Cards)"라는 새로운 도구를 소개합니다. 워크플로 카드를 컴퓨터의 전체 조리 세션을 담은 "하이라이트 영상"이나 "요약본"이라고 생각하십시오. 인간이나 스마트한 컴퓨터 프로그램(대규모 언어 모델, 즉 LLM)이 수천 개의 지저l고 기술적인 로그를 뒤져서 무슨 일이 일어났는지 찾아내도록 강요하는 대신, 워크플로 카드는 이 모든 데이터를 깔끔하고 읽기 쉬운 이야기로 응축합니다. 연구진은 이 아이디어를 두 가지 방식으로 테스트했습니다. 첫째, 이 카드가 기존의 "모델" 및 "데이터" 카드가 놓치고 있던 새로운 정보를 실제로 포함하고 있는지 확인했습니다. 그 결과, 워크플로 카드는 다른 카드들이 가지고 있지 않은 실행 과정에 대한 독특한 세부 정보를 담고 있다는 것을 발견했습니다. 둘째, 스마트한 컴퓨터 프로그램이 원시 데이터베이스를 쿼리(질의)하는 대신 이 카드를 사용하여 워크플로에 관한 질문에 얼마나 잘 답할 수 있는지 테스트했습니다. 결과는 명확했습니다. 컴퓨터가 워크플로 카드를 사용했을 때, 원시 데이터베이스 구조를 뒤져야 할 때보다 정답을 맞히는 능력이 거의 두 배로 높아졌습니다. 이 논문은 인간과 AI 모두에게 작업에 대한 명확하고 미리 요약된 이야기를 제공함으로써, 과학적 컴퓨팅을 훨씬 더 투명하고 이해하기 쉽게 만들 수 있다고 제안합니다.

과학의 이야기에서 빠진 한 장

이 논문이 왜 흥미로운지 이해하려면, 먼저 현대 컴퓨팅의 "재료"와 "최종 요리"를 살펴봐야 합니다. 인공지능과 데이터 과학 분야에서 연구자들은 종-종 워크플로라고 불리는 복잡한 프로그램을 만듭니다. 이는 원시 데이터가 들어가서 여러 단계를 거쳐 처리된 후, 훈련된 AI 모델이나 일기 예보와 같은 결과물로 나오는 조립 라인과 같습니다.

오랫동안 과학자들은 자신의 작업을 기록하기 위해 모델 카드와 데이터 카드를 사용해 왔습니다. 데이터 카드를 밀가루 봉지에 붙은 영양 성분표라고 상상해 보십시오. 그것은 밀가루가 어디서 왔는지, 어떻게 재배되었는지, 무엇이 들어있는지를 알려줍니다. 모델 카드는 케이크의 메뉴 설명과 같습니다. 케이크가 어떤 맛인지, 누가 만들었는지, 어떤 용도로 쓰기에 가장 좋은지를 알려줍니다. 이것들은 정적인 스냅샷을 찍는 데는 훌륭합니다. 하지만 이것들은 제빵사가 실제로 반죽을 어떻게 섞었는지, 얼마나 오래 구웠는지, 혹은 조리 과정 중에 오븐 온도가 변동되었는지 등의 정보는 알려주지 않습니다.

여기서 **프로비넌스(Provenance, 기원/출처)**라는 개념이 등장합니다. 프로비넌스는 기술적으로 "객체의 역사"를 의미합니다. 이는 컴퓨터가 취한 모든 단계의 디지털 흔적입니다. 어떤 파일을 건드렸는지, 얼마나 기다렸는지, 어떤 하드웨어를 사용했는지, 그리고 어떤 결정을 내렸는지에 대한 기록입니다. 컴퓨터는 이러한 흔적을 방대하고 복잡한 데이터베이스에 기록하는 데 매우 능숙하지만, 이를 읽는 것은 마치 비밀 코드로 쓰인 소설을 읽으려는 것과 같습니다. 특정 세부 사항을 찾으려면 특별한 지도를 가진 탐정이 되어야 합니다. 이 때문에 일반 사람들은 물론 스마트한 AI 프로그램조차도 실제로 무슨 일이 일어났는지 빠르게 이해하기 어렵습니다.

이 논문이 다루는 질문은 간단하지만 매우 중요합니다: 우리는 그 복잡하고 암호 같은 흔적을, 우리가 컴퓨터 실험을 신뢰하고 이해하는 데 도움이 되는 명확하고 읽기 쉬운 이야기로 바꿀 수 있는가?

해결책: 컴퓨터를 위한 "하이라이트 영상"

저자들은 워크플로 카드라는 새로운 해결책을 제안합니다. 모델 카드가 메뉴이고 데이터 카드가 재료 라벨이라면, 워크플로 카드는 요리 쇼의 비하인드 스토리 다큐멘터리입니다.

연구진은 이 카드를 위한 특정 템플릿을 설계했습니다. 모든 데이터를 쏟아붓는 대신, 이 카드는 인간과 AI가 실제로 궁금해하는 질문에 답할 수 있도록 정보를 구성합니다. 여기에는 다음 내용이 포함됩니다:

• 설정(The Setup): 어떤 컴퓨터가 사용되었는가? 어떤 소프트웨어가 실행 중이었는가?
• 타임라인(The Timeline): 언제 시작되었는가? 얼마나 걸렸는가?
• 액션(The Action): 주요 단계는 무엇이었는가? 문제가 발생했는가?
• 결과(The Result): 최종 출력물은 무엇인가?

목표는 빠르게 읽을 수 있을 만큼 작으면서도, 원시 데이터베이스를 뒤질 필요 없이 복잡한 질문에 답할 수 있을 만큼 풍부한 정보를 담은 문서를 만드는 것이었습니다.

발견한 것: 요약의 마법

연구팀은 이 새로운 워크플로 카드가 실제로 효과가 있는지 확인하기 위해 두 가지 서로 다른 시나리오에서 테스트를 진행했습니다.

테스트 1: 이 카드가 새로운 정보를 알려주는가?
먼저, 워크플로 카드를 기존의 모델 및 데이터 카드와 비교했습니다. 그들은 스마트한 AI(LLM)에게 한 번에 한 종류의 카드만을 사용하여 컴퓨터 워크플로에 관한 질문에 답하도록 했습니다.

• AI가 모델 카드나 데이터 카드만 가졌을 때는 정답을 놓치는 경우가 많았습니다. 프로세스의 세부 사항을 알지 못했습니다.
• 그러나 AI가 워크플로 카드를 가졌을 때는 모든 카드를 합쳤을 때만큼 잘 수행했습니다.
• 가장 놀라운 발견은 혼합된 카드에서 워크플로 카드를 제거했을 때 나타났습니다. 워크플로 카드가 빠지자 AI의 답변 능력은 절반 이상 떨어졌습니다 (0.611에서 0.265로 하락). 이는 워크플로 카드가 다른 카드들이 절대 가질 수 없는 독특하고 결정적인 정보를 포함하고 있음을 입증했습니다. 이는 마치 영화 포스터와 출연진 목록만 보고 영화의 줄거리를 추측하려 하지만, 실제 장면은 놓치고 있는 것과 같습니다.

테스트 2: 이야기를 읽는 것이 데이터베이스를 쿼리하는 것보다 쉬운가?
다음으로, AI에게 두 가지 다른 유형의 정보가 주어졌을 때 질문에 얼마나 잘 답하는지 테스트했습니다:

1. 스키마 기반 쿼리(Schema-based Querying): AI에게 데이터베이스의 "지도(구조)"가 주어졌고, 정답을 찾기 위해 적절한 질문을 던지는 방법을 스스로 알아내야 했습니다. 이는 도서관의 카탈로그 시스템을 받고 직접 책을 찾아야 하는 것과 같습니다.
2. 워크플로 카드: AI에게 미리 작성된 요약 카드가 주어졌습니다. 이는 독후감을 건네받는 것과 같습니다.

결과는 극적이었습니다. AI가 워크플플로 카드를 사용했을 때, 데이터베이스 구조를 쿼리해야 할 때보다 답변 품질이 거의 두 배 가까이 높았습니다. 평균 점수가 약 0.45에서 0.87로 급등했습니다. 인간 전문가들도 이 경향에 동의하며, 카드가 정보를 훨씬 더 접근하기 쉽게 만든다는 점을 확인했습니다. 연구진은 이러한 개선이 다양한 크기의 AI 모델에서 나타났다는 점을 언급하며, "요약" 방식이 복잡한 컴퓨터 프로세스를 이해하려는 누구에게나 강력한 도구임을 시사했습니다.

이것이 왜 중요한가

이 논문은 워크플로 카드가 과학적 투명성을 위한 퍼즐의 필수적인 조각이라고 결론짓습니다. 이 카드들은 상세한 로그나 데이터베이스를 대체하는 것이 아니라, 그 위에 위치하여 친절한 인터페이스 역할을 합니다. 복잡한 기계 판독 가능 데이터를 인간이 읽을 수 있는 이야기로 바꿈으로써, 이 카드들은 우리가 다음과 같은 일을 할 수 있게 돕습니다:

• 편향 발견: 프로세스가 공정했는지 확인합니다.
• 오류 수정: 어디에서 문제가 발생했는지 정확히 이해합니다.
• 성공 재현: 어떻게 동일한 결과를 얻을 수 있는지 정확히 알 수 있습니다.

저자들은 향-후 이 카드들이 모든 컴퓨터 워크플로에 대해 자동으로 생성될 수 있으며, 이를 통해 과학의 "비하인드 스토리"를 최종 보고서만큼이나 읽기 쉽게 만들 수 있다고 제안합니다. 현재의 테스트는 머신러닝과 기후 예측에 집중되어 있지만, 이 "하이라이트 영상" 접근 방식은 모든 복잡한 과학 실험에 적용될 수 있으며, 블랙박스의 미스터리를 명확하고 공개된 이야기로 바꿀 수 있다는 것이 이들의 생각입니다.