CADAQUES: A Cost-Aware Dual Architecture for Query-Efficient Autonomous Discovery

당신이 안개 낀 거대한 도시에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신에게는 범인을 찾기 위해 질문을 던질 수 있는 제한된 돈과 시간이 있습니다. 과학의 세계에서 이 "탐정 업무"는 **자율적 발견(autonomous discovery)**이라고 불립니다. 과학자들은 새로운 재료가 어떻게 작동하는지 테스트하거나 화학 반응에 대한 완벽한 온도를 찾는 것과 같은 실험을 수행하기 위해 스마트한 컴퓨터 프로그램을 사용합니다. 이 프로그램들은 하나의 루프처럼 작동합니다: 질문을 던지고(실험을 실행하고), 답을 얻고, 그다음 무엇을 질문할지 결정합니다.

보통 과학자들은 모든 질문이 동일한 시간과 비용이 든다고 가정합니다. 하지만 현실에서는 어떤 질문은 저렴하고 빠르며(예: 빠른 추측), 어떤 질문은 비싸고 느립니다(예: 깊고 상세한 분석). 게다가, 질문을 던지기로 결정하는 스마트한 컴퓨터 프로그램인 "탐정" 자신도 생각하는 데 자원을 소비하며 지칠 수 있습니다! 만약 당신이 이 비용을 주의 깊게 추적하지 않는다면, 답을 찾기도 전에 돈을 다 써버리거나, 더 심하게는 실제 해결에는 도움이 되지 않는 비싼 질문들에 모든 현금을 쏟아부을 수도 있습니다. 이 논문은 과학자들이 파산하지 않고 최선의 결과를 얻을 수 있도록 이러한 비용을 관리하는 방법에 대해 다룹니다.

---

탐정의 새로운 장부: CADAQUES를 만나다

이 논문은 CADAQUES(효율적인 쿼리를 위한 비용 인식형 이중 구조 자율 발견, Cost-Aware Dual Architecture for QUery-Efficient autonomous diScovery)라는 새로운 오픈 소스 도구를 소개합니다. CADAQUES를 과학 실험을 위한 매우 똑똑하고 엄격한 회계사라고 생각하십시오. 이 도구의 주요 임무는 질문을 던지는 과정과 그 질문을 결정하기 위해 수행되는 사고 과정 모두가 공유된 예산에 따라 추적되도록 보장하는 것입니다.

CADAQUES 이전의 대부분의 소프트웨어 프레임워크는 단순히 몇 번의 차례(turn)를 거쳤는지만 세는 게임과 같았습니다. 만약 100번의 차례가 있다면, 첫 번째 차례가 1초가 걸렸든 100번째 차례가 1시간이 걸렸든 상관없이 무조건 100번을 플레이했습니다. CADAQUES는 규칙을 바꿉니다. 차례를 세는 대신, 자원을 셉니다. 시간, 컴퓨터 전력, 돈, 그리고 심지어 "토큰"(AI 언어 모델에서 사용하는 통화)을 하나의 공유된 예산으로 취급합니다.

두 명의 플레이어: 오라클(Oracle)과 드라이버(Driver)

CADAQUES는 과학적 루프를 각각 특정한 역할을 가진 두 명의 캐릭터로 나눕니다.

1. 오라클 (대답하는 자): 실제로 작업을 수행하는 부분입니다. 이는 컴퓨터 시뮬레이터, 실험실의 로봇, 또는 수학적 모델이 될 수 있습니다. 질문을 받으면 오라클은 "이 답변을 하는 데 5분의 시간과 2달러가 들 것 같습니다"라고 말한 뒤 작업을 수행합니다.
2. 드라이버 (질문하는 자): 다음에 무엇을 물어볼지 결정하는 똑똑한 두뇌입니다. 이미 얻은 답변들과 남은 돈을 살펴본 뒤, 새로운 질문을 제안합니다.

CADAQUES의 마법은 두 캐릭터 모두에게 동일한 지갑에서 비용을 청구한다는 점에 있습니다. 만약 드라이버가 어떤 질문을 할지 생각하는 데 10초를 쓴다면, 그 10초는 오라클이 답변하는 데 쓰는 시간과 마찬가지로 전체 예산에서 차감됩니다.

"선언된" 비용 vs "결제된" 비용

이 시스템이 청구서를 처리하는 방식 중 가장 멋진 기능 중 하나입니다.

• 선언된 비용 (Declared Cost): 오라클이 작업을 시작하기 전, 예측치를 제시합니다: "이 작업은 5분이 걸릴 것입니다." 이것이 "선언된" 비용입니다. 시스템은 당신이 이를 감당할 수 있는지 확인합니다. 만약 감당할 수 없다면, 시간을 낭비하기 전에 당신을 멈춰 세웁니다.
• 결제된 비용 (Settled Cost): 오라클이 작업을 마친 후, 실제 청구서를 보냅니다: "사실, 7분이 걸렸습니다." 이것이 "결제된" 비용입니다.

CADAQUES는 두 숫자를 모두 기록합니다. 만약 오라클이 시간을 과소평가했다면, 시스템은 그 차이를 기록합니다. 이를 통해 정확히 무슨 일이 일어났는지, 실제 비용이 얼마였는지, 그리고 예측이 얼마나 정확했는지에 대한 완벽한 이력, 즉 "장부"를 생성합니다. 이는 과학자들이 다음번에 예산을 더 잘 짤 수 있도록 돕습니다.

무엇을 발견했는가?

이 시스템이 효과적인지 테스트하기 위해, 저자들은 2D 이징 모델(Ising model, 자석의 수학적 모델)의 "임계 온도"를 찾는 유명한 물리학 문제를 기반으로 한 시뮬레이션을 실행했습니다. 그들은 답변이 완벽하지 않고 오해를 불러일일 수 있는 노이즈가 섞인 까다로운 환경을 설정했습니다.

그들은 동일한 10초의 예산을 가지고 세 가지 다른 "드라이버"(질문을 던지는 전략)를 테스트했습니다:

1. 무작위 탐색 (Random Search): 그냥 무작위로 질문을 던집니다.
2. 어닐드 로컬 서치 (Annealed Local Search): 넓게 시작하여 돈을 쓸수록 점점 더 집중하는 전략입니다.
3. 가우시안 프로세스 (GP-EI): 가장 정교하고 비싼 AI 플래너로, 최선의 답을 예측하려고 노력합니다.

결과:

• "똑똑한" 플래너가 승리하지 못했다: 놀랍게도, 화려하고 비싼 AI 플래너(GP-EI)는 이 특정 노이즈가 있는 환경에서 단순한 무작위 탐색보다 더 나은 성능을 보이지 못했습니다. 사실, 이 모델은 단 하나의 질문을 던지기도 전에 "생각하는" 부분(숙고)에 전체 예산의 약 **3.2%**를 써버렸습니다!
• 노이즈 함정: 똑똑한 플래너들은 "노이즈"—훌륭한 답처럼 보이지만 실제로는 가짜인 데이터의 무작위 스파이크—에 속았습니다. 그들은 남은 예산을 이 가짜 정점을 조사하는 데 낭비했습니다. 한 곳에 머물지 않았던 무작위 탐색은 많은 경우에서 실제로 답을 찾아내거나 혹은 더 잘 찾아냈습니다.
• 비용 혼합의 힘: 가장 성공적인 전략은 "2단계" 계획이었습니다. 과학자들은 저렴하고 품질이 낮은 질문을 사용하여 도시 전체를 빠르게 탐색한 다음, 가장 유망한 지역에서만 비싸고 고품질인 질문으로 전환했습니다. 이 "저렴하게 탐색하고, 비싸게 정밀화하라"는 접근 방식은 비싼 질문만을 계속 사용했을 때보다 더 적은 오차로 답을 찾아냈습니다.

시스템 자체의 비용

마지막으로, 저자들은 CADAQUES 자체가 회계 처리를 하는 데 얼마나 많은 시간을 소요하는지 확인했습니다. 그들은 시스템이 질문당 약 25마이크로초(0.000025초)의 오버헤드만을 추가한다는 것을 발견했습니다. 이는 그들이 실행한 가장 저렴한 실험보다 약 1,000배 빠른 수준입니다. 따라서 이 도구는 매우 가볍고 과학적 과정을 늦추지 않습니다.

이것이 왜 중요한가

이 논문은 자율적 발견이 제대로 작동하려면 "생각하는 것"과 "행하는 것"을 공짜로 취급하는 것을 멈춰야 한다고 제안합니다. 우리는 모든 푼돈과 모든 초를 추적해야 합니다. 이 연구는 복잡한 알고리즘을 사용하는 것이 항상 단순하고 철저한 것을 이기는 것은 아니라는 점을 보여줍니다, 특히 데이터에 노이즈가 많을 때 말입니다. 또한 저렴한 실험과 비싼 실험을 섞는 것이 승리하는 전략임을 입증합니다.

가장 중요한 것은, CADAQUES가 과학적 발견의 실제 비용을 볼 수 있는 방법을 제공한다는 점입니다. 이를 통해 연구자들은 자신의 "장부"를 보고 "우리는 10초를 썼지만, 그중 3초는 컴퓨터가 생각하는 데 사용되었다"라고 말할 수 있습니다. 이러한 투명성은 과학자들이 미래를 위해 더 효율적인 실험을 구축할 수 있도록 돕고, 진실을 찾기 전에 자원이 고갈되지 않도록 보장합니다.