Hierarchical Server Architecture for Agentic Science

슈퍼컴퓨터의 세계를 차가운 방 안에 있는 하나의 거대한 뇌가 아니라, 서로 다른 기계들이 모인 거대하고 혼란스러운 우주로 상상해 보십시오. 어떤 것들은 수년간 숫자를 계산하는 거대하고 전통적인 슈퍼컴퓨터(HPC)이고, 어떤 것들은 즉각적으로 생성될 수 있는 유연한 클라우드 서버이며, 또 어떤 것들은 센서 바로 옆에 위치한 아주 작은 "엣지(edge)" 장치들입니다. 수십 년 동안 과학자들은 실험을 실행하기 전에 각 기계에 적절한 소프트웨어가 있는지, 메모리가 충분한지, 네트워크 속도가 적절한지를 확인하기 위해 모든 기계를 일일이 수동으로 점검해야 하는 궁극의 가이드 역할을 해야 했습니다. 이는 마치 모든 도구에 서로 다른 언어로 라벨이 붙어 있는 차고에서 특정 종류의 렌치를 찾는 것과 같았습니다.

"에이전트 과학(Agentic Science)"의 등장을 보십시오. 이것은 컴퓨터가 단순히 명령을 기다리는 것이 아니라 서로 대화하는 새로운 방식입니다. 인간이 "GPU가 있습니까?"라고 묻는 대신, 똑똑한 컴퓨터 프로그램("에이전트")이 "특정한 유형의 그래픽 카드와 500기가바이트의 메모리가 필요한 시뮬레이션을 실행해야 합니다. 누가 도와줄 수 있나요?"라고 물을 수 있습니다. 여러분이 읽게 될 이 논문은 이러한 스마트 에이전트들이 협상하고, 완벽한 기계를 찾아내며, 인간이 세상의 모든 서버에 대한 세부 사항을 알 필요 없이 업무를 수행할 수 있는 시스템을 구축하는 방법을 탐구합니다.

---

디지털 매칭 서비스

이 논문에서 로런스 리버모어 국립연구소(Lawrence Livermore National Laboratory)의 바네사 소챗(Vanessa Sochat)과 다니엘 밀로이(Daniel Milroy)는 이 혼란스러운 컴퓨터 우주를 조직하는 새로운 방법을 제안합니다. 그들은 이를 **계층적 서버 아키텍처(Hierarchical Server Architecture)**라고 부릅니다. 이를 이해하기 위해, 거대한 은하계 여행사를 상상해 보십시오.

옛날에는 여행을 예약하려면 모든 항공사, 호텔, 기차역에 개별적으로 전화하여 좌석이 있는지 물어야 했습니다. 여기서 설명하는 새로운 시스템에서는 허브(Hub)(메인 여행사)와 비서(Secretaries)(항공사에서 일하는 에이전트들) 군단이 있습니다. 여러분이 허브에 요구 사항을 말합니다: "내일 출발하는 화성행 비행편이 필요하고, 채식 식단이 포함되어야 합니다." 허브는 직접 비행기를 확인하지 않습니다. 대신, 즉시 모든 비서에게 동시에 요청을 보냅니다.

각 비서는 특정 컴퓨터(작업자)를 대표하는 스마트한 조수입니다. 그들은 자신의 컴퓨터 인벤토리를 들여다볼 수 있는 특별한 도구 상자를 가지고 있습니다. 그들은 다음을 확인합니다: 적절한 소프트웨어가 있는가? 메모리가 가득 찼는가? 네트워크가 충분히 빠른가? 그런 다음 허브에 제안서를 보냅니다: "할 수 있습니다!" 또는 "너무 바쁩니다" 또는 "필요한 부품이 없습니다."

"리소스 비서(Resource Secretary)"와 51개의 도구

이 시스템의 마법은 보편적인 번역기 역할을 하는 소프트웨어인 **리소스 비서(Resource Secretary)**에 있습니다. 저자들은 51가지의 서로 다른 "프로바이더(providers)"(저장 공간, 메모리 또는 소프트웨어 패키지 등을 확인하는 도구)로 구성된 라이브러리를 구축했습니다. 이 도구들은 실제 컴퓨터뿐만 아니라 가상의 시뮬레이션된 컴퓨터에서도 작동합니다.

이 프로바이더들을 특수 손전등 세트라고 생각하십시오. 한 손전등은 "Slurm"(흔히 쓰이는 작업 관리자)을 확인하고, 다른 손전등은 "Kubernetes"(클라우드 관리자)를, 또 다른 것은 "Docker"(컨테이너)를 확인하는 식입니다. 비서 에이전트가 요청을 받으면, 이 도구들을 사용하여 실제로 방 안에 무엇이 있는지 비춰봅니다. 만약 사용자가 특정 버전의 소프트웨어 프로그램을 요청하면, 에이전트는 단순히 추측하는 대신 이 도구들을 사용하여 그것을 찾아냅니다.

거대한 시뮬레이션: 20,000번의 테스트

이 아이디어가 실제로 작동하는지 확인하기 위해, 저자들은 단순히 꿈만 꾼 것이 아니라 대규모 시뮬레이션을 실행했습니다. 그들은 서로 다른 성격을 가진 200대의 가짜 컴퓨터(작업자)를 만들었습니다:

• HPC 아키타입: 엄격한 규칙이 있는 크고 전통적인 슈퍼컴퓨터.
• 클라우드 아키타입: 유연하고 다양하며 때로는 무질서함.
• 스탠드얼론(Standalone) 아키타입: 강력한 노트북이나 엣지 장치와 같은 작고 단일한 기계.

그 후 19,973건의 협상 테스트를 생성했습니다. 이 테스트에서 그들은 에이전트들에게 다양한 세부 수준을 가진 작업들을 위한 자원을 찾도록 요청했습니다. 어떤 요청은 모호했지만("컴퓨터가 필요합니다"), 어떤 요청은 믿을 수 없을 정도로 구체적이었습니다("128개의 CPU, 1TB의 RAM, 특정 네트워크 속도, 그리고 'Singularity'라는 이름의 컨테이너를 가진 컴퓨터가 필요합니다").

결과: "아니오"라고 말하는 데는 능숙하지만, "예"라고 말하는 데는 까다롭다

결과는 인상적인 성공과 명확한 교훈이 섞여 있었습니다.

좋은 소식: 에이전트들은 컴퓨터가 작업을 수행할 수 있는지 판단하는 데 놀라울 정도로 뛰어났습니다. 그들은 **87.71%**의 전체 정확도를 달성했습니다. 이는 그들이 "네, 할 수 있습니다" 또는 "아니요, 못 합니다"라고 말했을 때 대부분의 경우 옳았음을 의미합니다. 그들은 특히 필요한 소프트웨어가 누락된 경우처럼 컴퓨터가 작업을 수행할 수 없는 상황을 포착하는 데 숙련되었습니다.

나쁜 소식(그리고 그 "이유"): 에이전트들은 주로 너무 자신만만할 때 실수를 저질렀습니다. 1,611건의 사례에서 에이전트는 컴퓨터가 호환되지 않음에도 불구하고 호환된다고 말했습니다. 주요 원인은 무엇이었을까요? 바로 소프트웨어 버전이었습니다.
사용자가 "Python 3.9"를 요청한다고 가정해 봅시다. 에이전트는 "Python 3.9"가 설치된 것을 확인했지만, 해당 작업에 필요한 특정 라이브러리가 실제로는 버전 3.8이라는 사실을 알아차리지 못했습니다. 에이전트는 메인 소프트웨어와 그 종속성(dependencies) 사이에서 혼란을 겪었습니다. 저자들은 에이전트가 사용하는 도구들이 단순히 일반적인 목록을 제공하는 것이 아니라, 더 정밀하게 정확한 버전 번호를 제공해야 한다고 제안합니다.

구체성의 문제: 에이전트들은 두 가지 극단적인 상황에서 가장 어려움을 겪었습니다:

1. 너무 모호할 때: 만약 사용자가 필요한 소프트웨어를 말하지 않고 그냥 "컴퓨터가 필요하다"라고만 한다면, 에이전트는 올바른 결정을 내릴 충분한 정보를 갖지 못합니다.
2. 너무 구체적일 때: 요청이 매우 복잡해지면(예: 특정 컨테이너 기술을 요구할 때), 에이전트들은 때때로 길을 잃거나 잘못된 "손전등"을 사용하여 체크하게 되어 오류를 범했습니다.

선택 경쟁: 누가 직무를 맡는가?

에이전트들이 작업을 수행할 수 있는 컴퓨터들을 찾아낸 후, 시스템은 그중 최선의 것을 골라야 했습니다. 저자들은 그들의 "에이전트 기반" 선택 전략을 6가지 전통적인 전략(예: "사용 가능한 첫 번째 것을 선택" 또는 "가장 저렴한 것을 선택")과 비교 테스트했습니다.

• 속도: 전통적인 방법들은 매우 빨랐습니다(1밀리초 미만 소요). AI 에이전트는 더 느렸으며, 결정당 약 2.19초가 걸렸습니다. 저자들은 이것이 트레이드오프임을 인정합니다. AI는 더 똑똑하지만 생각하는 데 시간이 걸립니다.
• 비용: AI 에이전트는 비용을 절약하는 데 놀라울 정도로 효과적이었습니다. 에이전트는 단순한 "가장 저렴한 것 우선" 규칙이 놓치기 쉬운 뉘 Nuance를 파악하여, 작업이 더 빨리 끝날 수 있다면 약간 더 비싼 기계를 선택하기도 했습니다. 그러나 저자들은 시뮬레이션이 더 좋은 기계에서 작업이 얼마나 더 빨리 실행될지에 대한 부분을 완전히 반영하지 않았다는 점을 언급하며, 이는 가능성을 보여주는 힌트일 뿐이라고 덧붙였습니다.

결론

이 논문은 컴퓨터 스케줄링 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 계층적 에이전트 기반 시스템이 다양한 컴퓨터들을 관리하는 실행 가능한 방법임을 입증합니다. 이는 우리가 컴퓨터들이 서로 대화하여 적절한 자원을 찾도록 만드는 시스템을 구축할 수 있으며, 그 정확도가 거의 **88%**에 달한다는 것을 보여줍니다.

저자들은 "비서 에이전트"들이 나쁜 옵션을 걸러내는 데는 훌륭하지만, 복잡한 소프트웨어 버전과 매우 구체적인 요청을 처리하기 위해서는 더 나은 도구가 필요하다고 결 결론지었습니다. 또한 AI가 단순한 규칙보다 느리긴 하지만, 맥락을 이해하고 유연한 선택을 할 수 있는 능력은 미래의 과학을 위한 강력한 도구라고 지적했습니다. 이 시스템은 자동화된 과학적 발견을 목표로 하는 프로젝트인 "제네시스 미션(Genesis Mission)"에서 실제 세계의 테스트를 받을 준비가 되어 있습니다.

요약하자면, 슈퍼컴퓨팅의 미래는 단순히 더 큰 기계를 만드는 것이 아니라, 인간이 뒤로 물러나 에이전트들이 힘든 일을 처리하도록 하는 동안, 컴퓨터가 서로 대화하고, 협상하고, 모든 작업에 완벽한 짝을 찾을 수 있도록 가르치는 데 있습니다.