당신이 마치 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신의 단서는 지문이 아니라 숫자와 그래프입니다. 당신의 임무는 그 숫자들을 만들어낸 '규칙'이나 '공식'을 찾아내는 것입니다. 과학의 세계에서 이것은 **데이터에 모델을 적합시키는 것(fitting a model to data)**이라고 불립니다.

오랫동안 컴퓨터는 이 작업을 수행하는 능력이 향상되어 왔지만, 종종 막다른 길에 다다르곤 했습니다. 컴퓨터는 규칙을 추측하고, 그래프를 본 뒤, "이 정도면 괜찮아 보이네"라고 말하며 넘어가 버리곤 합니다. 하지만 실제로는 틀린 규칙일 수도 있습니다. 이러한 시스템들은 데이터를 진정으로 관찰하고, "잠깐, 왜 이 부분이 이상하게 보이지?"라고 질문하는 능력이 부족합니다.

이 논문은 단순히 추측만 하는 것이 아니라, 자신만의 돋보기를 만드는 새로운 종류의 AI 탐정인 VESTA를 소개합니다.

문제점: "일률적인" 탐정

기존의 AI 시스템들은 거대 언어 모델(LLM)에게 코드를 작성하게 하고, 그 결과를 살펴본 뒤, 무엇이 잘못되었는지에 대한 텍스트 설명을 바탕으로 새로운 코드를 다시 쓰게 함으로써 이 문제를 해결하려 했습니다.

이것은 마치 학생이 선생님의 서면 코멘트만 읽을 수 있는 수학 시험을 치르는 것과 같습니다. 만약 선생님이 "그래프의 오른쪽 부분이 약간 이상하다"라고 말한다면, 학생은 특정 곡선을 확대하거나, 강조 표시를 하거나, 혹은 그 곡선이 실제로 직선인지 파동인지 확인하기 위한 특별한 테스트를 실행할 수 없으므로, 어떻게 고쳐야 할지 추측만 해야 합니다.

해결책: VESTA의 "도구 벨트"

VESTA(Visual Exploration with Statistical Tool Agents)는 게임의 판도를 바꿉니다. VESTA는 단순히 텍의를 읽는 대신, 역동적인 도구 벨트를 부여받습니다.

이것이 어떻게 작동하는지 창의적인 비유를 통해 설명하겠습니다:

VESTA가 완성된 요리의 사진을 보고 비밀 레시피를 재현하려는 요리사라고 상상해 보세요.

1. 첫 번째 추측: VESTA는 사진을 보고 "아마 초콜릿 케이크일 거야"라고 추측합니다. 레시피를 쓰고 테스트용 케이크를 굽습니다.
2. 맛 테스트 (비평): AI가 케이크를 맛봅니다. 그리고 깨닫습니다. "음, 너무 건조하고 질감이 이상해."
3. 기존 방식: 기존의 AI라면 단순히 "알겠어, 다음에는 우유를 더 넣어야지"라고 말했을 것입니다.
4. VESTA 방식: VESTA는 케이크를 더 잘 확인하기 위해 더 나은 방법이 필요하다는 것을 깨닫습니다. 그래서, 새로운 도구를 만듭니다.
   • 질감을 과학적으로 확인하기 위해 "수분 측정기" 도구를 만들 수 있습니다.
   • 케이크가 너무 밀도가 높은지 확인하기 위해 "부스러기 분석기" 도구를 만들 수 있습니다.
   • 이것이 정말 초콜릿인지 아니면 그냥 코코아 가루인지 확인하기 위해 "풍미 프로필" 도구를 만들 수 있습니다.

결정적으로, VESTA는 이 도구들을 저장합니다. 만약 첫 번째 케이크를 위해 "수분 측정기"를 만들었다면, 그것을 도구 벨트에 보관합니다. 나중에 다른 레시피를 시도할 때도 그 측정기를 다시 사용할 수 있습니다. 단순히 도구를 버리는 것이 아니라, 커스텀 제작된 진단 도구의 라이브러리를 점점 축적해 나가는 것입니다.

"DAWN" 벤치마크

이 새로운 탐정이 얼마나 유능한지 테스트하기 위해, 연구진은 DAWN(Dataset for Automated Workflows and Numerical Modeling)이라는 테스트를 구축했습니다.

DAWN을 점점 더 어려워지는 퍼즐 시리즈라고 생각하세요:

• 쉬운 퍼즐: 직선이나 단순한 파동 같은 단순한 모양들.
• 어려운 퍼즐: 파동이 동시에 커지고 빨라지는 형태나, 두 가지 다른 패턴이 섞인 복잡한 모양들.
• 천문학 퍼즐: 실제 천문학적 도전 과제들입니다. 예를 들어, "초기 질량 함수"(얼마나 많은 큰 별과 작은 별이 태어나는가)를 파악하거나, 충돌하는 블랙홀에서 나오는 "처프(chirp)" 신호를 분석하는 것 등입니다. 이것들은 데이터 퍼즐의 "최종 보스" 단계입니다.

연구 결과

연구진은 이 퍼즐들에 대해 VESTA를 다른 AI 시스템(예: BoxLM 및 PyVision)과 비교 실험했습니다.

1. "도구 없음" vs "역동적 도구" 테스트:

   • VESTA에게 도구가 없을 때는 쉬운 퍼즐은 잘 해냈지만, 어려운 퍼즐에서는 고전했습니다.
   • VESTA가 즉석에서 자신만의 도구를 만들 수 있게 허용했을 때, 성능이 현저히 향상되었습니다. Vest는 이상한 곡선을 보고, 그 곡선을 측정할 특정 도구를 만든 다음, 그 측정값을 사용하여 레시피를 수정할 수 있었습니다.
   • 결과: 역동적인 도구를 가진 VESTA는 다른 AI 시스템들, 특히 어려운 퍼즐과 천문학 퍼즐에서 승리했습니다.

2. "전문가"와의 비교:

   • 연구진은 VESTA에게 인간 통계학자들이 작성한 도구 세트("전문가 도구 세트")를 제공했습니다.
   • 놀라운 점: VESTA는 단순히 인간의 도구를 복제하는 데 그치지 않고, 종종 더 똑똑한 도구를 만들어냈습니다. 세 가지 서로 다른 인간의 도구를 하나로 결합하여 세 가지를 동시에 확인할 수 있는 슈퍼 도구를 만들기도 했습니다.
   • 하지만 전반적으로는 인간이 작성한 도구가 여전히 약간 더 나았습니다. 이는 VESTA가 도구를 발명하는 데 뛰어나긴 하지만, 인간 전문가들은 여전히 AI가 아직 터득하지 못한 기술(예: 매우 복잡한 다중 패널 그래프를 완벽하게 해석하는 법)을 알고 있음을 시사합니다.

"시각적" 이점

논문은 VESTA의 초능력이 **시각(vision)**에 있다는 점을 강조합니다.

• 기존 AI들은 그래프의 텍스트 설명을 읽습니다.
• VESTA는 그래프를 직접 봅니다.
• VESTA가 도구를 만들 때, 종종 다중 패널 이미지(예: 6개의 서로 다른 차트가 있는 대시보드)를 생성합니다. 그런 다음 그 대시보드를 보고 다음 행동을 결정합니다.

연구진은 VESTA가 다른 AI 시스템보다 훨씬 더 정교한 도구를 만든다는 것을 발견했습니다. 예를 들어, 천문학 퍼즐에서 VESTA는 데이터의 "꼬리 부분"(극단적인 값들)을 살펴볼 필요가 있다는 것을 깨닫고, 그 꼬리 부분을 확대해서 볼 수 있는 특정 도구를 만들었습니다. 이는 다른 AI들이 놓쳤던 부분입니다.

한계점

논문은 VESTA가 여전히 어려움을 겪는 부분에 대해서도 솔직하게 밝히고 있습니다:

• "사각지대": 때때로 VESTA는 매우 복잡한 다중 패널 그래프를 만들지만, 이를 보는 AI(비평가)가 그 복잡함 때문에 혼란을 겪습니다. 이는 아주 복잡한 대시보드를 만들었지만, 정작 운전자는 모든 계기판을 동시에 읽지 못하는 상황과 같습니다.
• 속도: VESTA는 계속 시도하고, 도구를 만들고, 다시 테스트하기 때문에, 한 번에 추측하고 끝내는 시스템보다 문제를 해결하는 데 시간이 더 오래 걸립니다.
• 합성 데이터: 테스트는 정답을 알고 있는 컴퓨터 생성 데이터로 수행되었습니다. 논문은 정답을 모르는 실제의 무질서한 데이터에서도 이 방식이 얼마나 잘 작동할지는 아직 알 수 없다고 언급합니다.

요약

VESTA는 자신만의 돋보기를 만듦으로써 복잡한 데이터 퍼즐을 해결하는 법을 배우는 AI입니다. 단순히 추측하고 확인하는 대신, 데이터를 측정하고 시각화하는 새로운 방법을 발명하고, 그 발명품을 저장하며, 이를 사용하여 진실에 더 가까이 다가갑니다. VESTA는 자신만의 진단 도구를 만드는 능력이 복잡한 패턴을 이해하는 데(특히 데이터가 까다로운 천문학과 같은 분야에서) 훨씬 더 효과적임을 입증했습니다.