Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems

당신이 로봇에게 걷기, 날기, 또는 깨지기 쉬운 컵을 떨어뜨리지 않고 잡는 법을 가르치려 한다고 상상해 보십시오. 이를 위해 당신은 '피드백 제어기(feedback controller)'가 필요합니다. 이 제어기를 로봇의 속귀(내이)와 뇌가 함께 작동하는 것으로 생각하십시오. 제어기는 로봇이 현재 어디에 있는지 끊임없이 확인하고, 이를 로봇이 있어야 할 위치와 비교하며, 모든 것을 안정적으로 유지하기 위해 미세하고 즉각적인 조정을 수행합니다. 만약 로봇이 흔들리기 시작하면 제어기는 반대로 밀어내고, 만약 너무 느리다면 제로서 살짝 밀어줍니다. 수십 년 동안 이러한 제어기를 설계하는 것은 수학과 물리학을 공부하기 위해 수년을 보낸 고도로 훈련된 인간 엔지니어들의 업무였습니다. 하지만 최근, '대규모 언어 모델(LLM)'이라는 새로운 종류의 디지털 뇌가 등장하기 시작했습니다. 이들은 시를 쓰고, 수수께계를 풀고, 당신과 대화할 수 있는 것과 같은 유형의 AI입니다. 과학자들은 이제 큰 질문을 던지고 있습니다. 이 수다스럽고 창의적인 AI의 뇌가 엔지니어링의 중책도 수행할 수 있을까요? 로봇이 복잡하거나, 흔들거리거나, 이상하게 움직일 때에도 그 로로봇을 안정적으로 유지하기 위한 수학을 설계할 수 있을까요?

"복잡한 동적 시스템을 위한 피드백 제어기 설계를 위한 대규모 언어 모델의 벤치마킹 및 추론 증류(Benchmarking and Reasoning Distillation of Large Language Models for Feedback Controller Design in Complex Dynamical Systems)"라는 제목의 이 논문은 바로 그 질문에 깊이 파고듭니다. 연구진은 AI가 단순한 작업에는 뛰어나지만, 실제 세계의 기계가 가진 무질서하고 복잡한 현실을 다룰 수 있는지에 대해서는 아무도 제대로 테스트하지 않았다는 점을 깨달았습니다. 그래서 그들은 CoDyControlBench라는 거대한 비디오 게임 같은 테스트 환경을 구축했습니다. 132개의 서로 다른 레벨이 있는 거대한 장애물 코스를 상상해 보십시오. 어떤 레벨은 평평한 길 위를 구르는 단일 바퀴처럼 쉽습니다. 다른 레벨은 악몽 같습니다. 여섯 개의 바퀴가 서로 엉켜 있고, 길은 흔들리며, 로봇의 무게가 움직임에 따라 변하는 여섯 바퀴 로봇 같은 것 말입니다. 목표는 무엇일까요? AI가 이 로봇을 충돌하거나 통제 불능으로 회전하지 않고 목표 지점까지 완벽하게 운전하도록 코드를 작성할 수 있는지 확인하는 것입니다.

연구팀은 여섯 가지 서로 다른 "초지능적" AI를 이 장애물 코스에 투입했습니다. 일부는 유명한 상용 모델(GPT, Gemini, Claude 등)이었고, 다른 일부는 오픈 소스 모델(Qwen, DeepSeek 등)이었습니다. 결과는 경외감과 주의가 동시에 드는 혼합된 모습이었습니다. 주인공은 GPT였습니다. GPT는 복잡한 도전 과제 중 94.8%에 대해 작동하는 제어기를 성공적으로 설계했습니다. 이는 마치 엉킨 스프링과 모터 뭉치를 보고도 즉시 어떻게 조정해야 할지 아는 숙련된 엔지니어와 같았습니다. 반면, Qwen 모델은 50%의 성공률만을 보였습니다. 이는 단순한 장난감 자동차는 다룰 수 있지만, 바퀴가 서로 다른 방향으로 돌기 시작하면 완전히 혼란에 빠지는 학생과 같았습니다.

연구진은 AI가 어려움을 겪는 가장 큰 문제가 반드시 로봇이 "비선형적(wiggly)"이거나 "시변적(time-varying)"인 것 때문이 아니라, 오히려 얼마나 많은 움직이는 부품을 가지고 있느냐 하는 점이라는 것을 발견했습니다. 움직이는 부품의 수(자유도, Degrees of Freedom 또는 DoF라고 함)가 1에서 6으로 증가함에 따라 AI의 성공률은 현저히 떨어졌습니다. 이는 마치 AI가 공 하나를 저글링하는 것은 쉽게 할 수 있지만, 두 번째, 세 번째, 혹은 여섯 번째 공을 추가하면 공을 떨어뜨리기 시작하는 것과 같습니다. 흥ari하게도, AI는 더 단순하고 흔한 "PID" 제어기보다 특정 유형의 복잡한 수학 기반 제어기(슬라이딩 모드 제어, Sliding Mode Control)를 설계하는 것을 더 쉽게 느꼈습니다. 이는 인간이 보통 단순한 것이 더 쉽다고 생각하는 것과 대조적이기에 놀라운 일이었습니다. AI는 단순한 방식의 "추측과 확인(guess-and-check)" 스타일보다 복잡한 수학의 엄격하고 단계적인 규칙을 더 선호하는 듯 보였습니다.

하지만 이 이야기에서 가장 흥격적인 부분은 이것입니다. 연구진은 단순히 클라우드 기반의 거대한 AI가 이 일을 할 수 있는지를 보고 싶었던 것이 아니라, 작은 AI가 로봇 내부의 작은 칩 위에서 실행될 수 있는지를 알고 싶었습니다. 이를 테스트하기 위해 그들은 **추론 증류(Reasoning Distillation)**라는 기술을 사용했습니다. 거대한 AI(위대한 스승)가 단순히 수학 문제의 정답만 알려주는 것이 아니라, 자신의 사고 과정을 전부 적어 내려가는 것을 상상해 보십시오. "먼저, 로봇이 왼쪽으로 흔들리고 있으니 오른쪽으로 밀어야 한다. 하지만 잠깐, 너무 세게 밀면 오버슈트(overshoot)가 발생할 수 있으니 속도를 조금 줄여야겠다." 그들은 아주 작은 경량 AI(AI 파라미터가 15억 개에 불과한, AI 치고는 매우 작은 크기)에게 정답만 외우는 것이 아니라 이 사고 과정을 복제하도록 가르쳤습니다.

결과는 어떠했을까요? 이 사고 과정을 배우는 법을 익힌 작은 AI(이하 "생각하는 모델(Think-Model)")는 놀라울 정도로 유능한 엔지니어가 되었습니다. 이 모델은 정답만을 암기했던 작은 AI보다 뛰어난 성능을 보였으며, 훈련되지 않은 기본 모델보다도 우수했습니다. 실제 환경 테스트에서, 이 작은 AI는 공기로 채워진 근육(공기압 근육, 제어하기 매우 까려하고 까다로운 것으로 알려진)으로 구동되는 로봇 팔에 설치되었습니다. 이 작은 AI는 세 번의 시도 모두에서 로봇 팔을 목표 각도로 성공적으로 유도하며 안정적이고 정확하게 유지했습니다. 이는 우리가 미래의 로봇을 제어하기 위해 클라우드의 거대한 슈퍼컴퓨터를 반드시 필요로 하지 않을 수도 있음을 시사합니다. 대신, 우리는 스마트한 추론 능력을 갖춘 엔지니어를 로봇 자체의 뇌 칩 안에 담아낼 수 있을지도 모릅니다.

요약하자면, 이 논문은 오늘날의 AI가 로봇 제어기를 설계하는 데 매우 능숙해지고 있지만, 여전히 가장 복잡한 다중 부품 기계들을 다루는 데는 어려움을 겪고 있음을 보여줍니다. 그러나 작은 AI에게 단순히 해결책을 암기하는 것이 아니라 문제를 추론하는 법을 가르침으로써, 우리는 미래의 로봇을 안정적이고 안전하며 목표대로 움직이게 할 수 있는, 엣지(edge)에서 바로 작동하는 가볍고 똑똑한 제어기를 만들 수 있습니다.