A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination

당신이 마치 미스터리를 풀려는 탐정이라고 상상해 보십시오. 다만 당신의 단서는 지문이나 알리바이가 아니라 스프레드시트에 적힌 숫자들입니다. 당신의 목표는 그 숫자들이 어떻게 움직이는지를 설명하는 깔끔하고 기록된 형태의 수학 방정식인 숨겨진 '레시피'를 찾는 것입니다. 이것이 바로 **기호 회귀(Symbolic Regression)**의 세계입니다. 기호 회귀는 단순히 답을 내기 위해 숫자를 계산하기만 하는 일반적인 컴퓨터 프로그램과 달리, $F=ma$나 중력 공식처럼 자연의 법칙을 인간이 읽고 이해할 수 있는 방식으로 직접 써 내려가려고 노력합니다. 이는 날씨를 예측하는 블랙박스와, 왜 폭풍이 오고 있는지 설명할 수 있는 기상학자의 차이와 같습니다.

오랫동안 과학자들은 컴퓨터를 이용해 이러한 레시피를 찾아왔지만, 그 과정은 종종 서툴렀습니다. 그것은 마치 고장 난 시계를 무작위로 부품을 갈아 끼우며 작동하기를 바라는 것과 같습니다. 시계가 작동하지 않으면, 컴퓨터는 그저 "나쁜 점수"를 받고 다시 시도하며, 종종 똑같은 실수를 반복합니다. 최근에는 과학자들이 대규모 언어 모델(LLM)—당신이 알고 있을 법한 똑똑한 AI 챗봇—을 사용하여 이러한 방정식을 쓰는 데 도움을 받기 시작했습니다. 이 AI들은 다음에 올 단어(또는 수학 기호)를 추측하는 데 매우 뛰어나지만, 여전히 막히거나, 말이 안 되는 방정식을 쓰거나, 데이터가 까다로워지면 혼란에 빠질 수 있습니다. 큰 질문은 이것입니다: 어떻게 하면 이 AI 탐정들이 무작위로 추측하는 것을 멈추고 실제 전문가 팀처럼 일하게 만들 수 있을까요?

여기에, 수학 공식을 찾는 과정을 단순한 솔로 연주가 아닌 잘 조율된 팀의 협업으로 다루는 새로운 방법인 A-SR이 등장했습니다. 이 논문의 저자인 Wenxiao Zhao와 그의 동료들은 기존 방식이 너무 경직되어 있다는 것을 깨달았습니다. 과거에는 AI가 단순히 방정식을 제안하고, 점수를 받고, 다시 시도하는 식이었습니다. 만약 방정식이 망가졌다면 AI는 단순히 숫자를 더 추가하여 고치려 했을 것이고, 너무 단순하다면 더 복잡하게 만들려 했을 것입니다. 하지만 이는 왜 실패했는지에 대한 진정한 이해 없이 이루어진 것이었습니다.

A-SR은 AI에게 '매니저'와 전문 요원 팀을 부여함으로써 게임의 판도를 바꿉니다. 마치 뉴스룸에서 편집국장(코디네이터)이 단 한 명의 기자에게 기사를 쓰라고 요구하는 것이 아닌 것과 같습니다. 대신, 편집국장은 그날의 사건들을 살펴보고 어떤 전문가가 필요한지 결정합니다. 만약 기사에 오류가 가득하다면, 편집국장은 사실 관계를 확인하기 위해 **검토자(Reviewer)**를 호출합니다. 만약 이야기가 지루해서 새로운 관점이 필요하다면, 기발한 아이디어를 구상하기 위해 **생성기(Generator)**가 호출됩니다. 만약 내용이 너무 길고 혼란스럽다면, 군더더기를 쳐내기 위해 **단순화 도구(Simplifier)**가 투입됩니다. 그리고 만약 퍼즐의 핵심 조각이 빠져 있다면, **분석가(Analyst)**가 누락된 연결 고리를 찾기 위해 기록 보관소를 뒤집니다.

A-SR이 특별한 이유는 이 팀이 고정된 일정만을 따르지 않기 때문입니다. "편집국장"은 스스로 진화합니다. 그는 검색이 어떻게 진행되는지 실시간으로 관찰합니다. 만 만약 팀이 실수하는 루프에 빠져 있다면, 편집국장은 전략을 전환하여 팀에게 새로운 아이디어를 탐색하는 것을 멈추고 망가진 것들을 고치는 데 집중하라고 지시할 수도 있습니다. 또한 그는 무엇이 효과가 있었고 무엇이 그렇지 않았는지에 대한 '기억'을 유지하며, 그 정보를 적절한 전문가에게 전달합니다. 예를 들어, 팀이 특정 유형의 수학적 오류 때문에 계속 실패한다면, 그 실패 사례는 검토자에게 전달되어 다음번에 팀이 어떻게 그 오류를 피해야 하는지 가르치게 됩니다.

논문은 이 접근 방식이 놀라울 정도로 효과적임을 보여줍니다. 화학 물질이 어떻게 반응하는지부터 재료가 압력 아래에서 어떻게 늘어나는지에 이르기까지 다양한 과학적 퍼즐을 통해 테스트했을 때, A-SR은 이전 방법들보다 훨씬 더 자주 정확한 수학적 '레시피'를 찾아냈습니다. 한 테스트 세트에서, Llama3.1-8B 모델을 사용했을 때 성공률은 약 **25.79%**에서 **48.30%**로 급증했습니다. 이는 AI가 올바르게 해결할 수 있는 문제의 수가 거의 두 배로 늘어난 것입니다. 더욱 인상적인 것은, 이러한 팀 협업을 통해 배운 교훈을 더 작은 오픈 소스 AI 모델(Qwen3-4B)에 가르쳤을 때, 이 작은 모델의 성공률 또한 **24.58%**에서 **38.29%**로 크게 상승했다는 점입니다.

연구진은 또한 박테리아의 성장이나 기계 시스템의 진동과 같은 실제 세계의 데이터에 A-SR을 테스트했습니다. 이러한 까다롭고 노이즈가 많은 실제 시나리오에서, A-SR은 8개 중 7개의 사례에서 최적의 수학적 설명을 찾아내며 다른 최고 수준의 방법들을 앞질렀습니다. 핵심적인 결론은 단순히 AI가 수학을 더 잘하게 된 것이 아닙니다. AI가 자신의 실수를 '생각하는 법'을 배웠다는 것입니다. 수백만 개의 무작위 조합을 맹목적으로 시도하는 대신, AI는 자신의 실패를 진단하고, 필요할 때 역할을 전환하며, 동일한 실수를 반복하지 않기 위해 기억을 사용하는 법을 배웠습니다. 이것은 혼란스러운 솔로 탐색에서, 매니저의 지도 아래 각자가 가장 잘하는 일을 수행하며 언제 새로운 아이디어를 밀어붙이고 언제 멈춰서 고쳐야 할지를 아는 똑똑하고 조율된 에이전트 팀으로의 전환입니다.