🤖 AI

PACE-Bench: Benchmarking Physics Adaptation via Code Evolution in Dynamic Environments

이 논문은 물리 환경이 변화할 때 코드 기반 동작을 적응시키는 자가 진화 에이전트의 능력을 평가하기 위해 설계된 시뮬레이터 기반 벤치마크인 PACE-Bench를 소개하며, 현재의 방법들이 메커니즘 재설계에 어려움을 겪고 있다는 점과 시뮬레이터에 기반한 성찰이 검증되지 않은 자가 수정을 능가한다는 점을 밝혀낸다.

원저자: Yuhao Zhan, Bingxiang He, Zecong Tang, Chaojun Xiao

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhao Zhan, Bingxiang He, Zecong Tang, Chaojun Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 다리를 건설하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 건조하고 단단한 지면 위에서 완벽하게 작동하는 다리를 만드는 법을 보여줍니다. 로봇은 규칙을 배우고, 코드를 작성하며, 튼튼한 구조물을 만들어냅니다. 이제, 당신이 몰래 바닥을 얼음판으로 바꾼다고 상상해 보세요. 어제까지 완벽하게 작동했던 다리가 오늘 즉시 무너집니다. 이것은 많은 스마트 컴퓨터 프로그램들이 매일 마주하는 현실입니다. 그들은 고정된 세상 속에서 지침을 따르는 데는 뛰어나지만, 게임의 규칙이 갑자기 변하면 종종 얼어붙어 버립니다.

과학자들은 '자기 진화형 에이전트(self-evolving agents)'를 구축하기 위해 노력하고 있습니다. 이는 인간이 직접 '리셋' 버튼을 누를 필요 없이, 자신의 실수를 통해 배우고 스스로를 수정할 수 있는 AI 시스템입니다. 이 에이전트들을 마치 단순히 지도를 암기하는 것이 아니라, 구덩이에 빠진 후 자신의 캐릭터 시트를 스스로 다시 쓰는 비디오 게임 캐릭터라고 생각해 보세요. 큰 질문은 이것입니다. 만약 세상의 물리 법칙이 변한다면(예를 들어 중력이 강해지거나 마찰력이 사라진다면), 이 에이전트들이 왜 이전의 해결책이 실패했는지 알아내고 완전히 새로운 것을 발명해 낼 수 있을까요? 이것은 단순히 정답을 아는 것이 아니라, 연료가 바뀌었을 때 엔진을 어떻게 재구축해야 하는지 그 '방법'을 아는 것에 관한 문제입니다.

이것이 바로 새로운 논문인 PACE-Bench가 테스트하고자 하는 핵심입니다. 연구진은 물리 법칙이 갑자기 변할 때 이 자기 수정형 로봇들이 얼마나 잘 대처하는지 확인하기 위해 거대한 디지털 놀이터인 '벤치마크'를 만들었습니다. 그들은 단순히 AI에게 퍼즐을 풀라고 요구한 것이 아닙니다. 이미 해결했던 퍼즐을 준 다음, 우주의 규칙을 비밀리에 바꾸고 나서 물었습니다. "네 해결책을 고칠 수 있겠니?"

게임: PACE-Bench

연구진은 단순한 정적 구조물(다리와 같은)부터 복잡하고 흔들리는 역학 관계(흔들리는 추나 진흙 속을 달리는 차량과 같은)에 이르기까지, 여섯 가지 서로 다른 '물리 세계'에 걸쳐 144개의 서로 다른 도전 과제를 구축했습니다.

게임의 진행 방식은 다음과 같습니다:

소스(The Source): AI 에이전트에게 작업과 '소스 환경'(예: 10미터 간격을 가로지르는 다리 건설)이 주어집니다. 에이전트는 작동하는 다리를 만들기 위한 컴퓨터 프로그램을 작성합니다.
반전(The Twist): 환경이 돌연 변이됩니다. 간격이 갑자기 20미터로 늘어나거나, 바람이 옆으로 불기 시작하거나, 재료가 부서지기 쉬운 상태가 될 수 있습니다. 기존의 다리 코드는 이제 실패합니다.
도전(The Challenge): 에이전트에게는 실패 원인을 살펴보고, 무엇이 변했는지 추측하여, 새로운 조건에서도 작동하는 새 다리를 건설하도록 코드를 다시 작성할 수 있는 20번의 기회가 주어집니다. 결정적인 점은, 에이전트에게 무엇이 변했는지 정확히 알려주지 않는다는 것입니다. 에이전트는 피드백(예: "접합부가 너무 큰 힘을 받아 끊어졌습니다")을 통해 새로운 물리 법칙을 추론해야 합니다.

결과: 누가 테스트를 통과했는가?

연구진은 다양한 AI 모델을 사용하여 10가지의 서로 다른 자기 진화 방법(AI가 스스로를 수정하는 다양한 전략)을 테스트했습니다. 결과는 눈을 뜨게 했습니다.

벤치마크는 어렵다: 가장 똑똑한 AI 모델들조차 고전했습니다. 가장 좋은 조합(Reflexion이라는 방법과 대규모 모델의 결래)은 도전 과제의 약 **35.9%**에서만 성공했습니다. 심지어 GPT-5.5라는 최상위 모델조차 더 쉬운 '정역학(Statics)' 하위 집합에서 **66.7%**만을 해결했습니다. 이는 이 벤치마크가 아직 '정복'되지 않았음을 의미하며, AI가 새로운 물리적 현실에 적응하는 능력에는 여전히 큰 격차가 존재함을 보여줍니다.
성찰(Reflection)은 승리하고, 맹목적 수정(Blind Revision)은 패배한다: 가장 성공적인 전략은 Reflexion이었습니다. 이 방법은 AI에게 "나는 X 때문에 실패했다, 그러므로 Y를 시도해야 한다"라고 생각하며 잠시 멈추도록 강제합니다. 이는 마치 학생이 문제를 다시 풀기 전에 자신이 왜 틀렸는지 검토하는 것과 같습니다. 반면, 새로운 아이디어가 타당한지 확인하지 않고 계속 코드만 다시 쓰는 방식(Self-Refine이라 불림)은 오히려 상황을 악화시켜 오류를 누적시키는 경우가 많았습니다.
기억은 함정이 될 수 있다: 어떤 방법들은 새로운 문제에 도움을 얻기 위해 과거의 성공 사례를 기억하려고 시도했습니다. 그러나 연구진은 이것이 종종 AI를 기존의 잘못된 아이디어에 '고착(anchored)'시킨다는 것을 발견했습니다. 새로운 해결책을 탐색하는 대신, AI는 이미 실패할 운명인 기존의 다리를 계속해서 미세하게 수정하려고만 했는데, 저자들은 이를 **설계 고착(Design Fixation)**이라고 불렀습니다.
수렴하지 못하는 탐색: 다른 방법들은 (마치 가지가 뻗어 나가는 나무처럼) 동시에 많은 아이디어를 탐색하려고 시도했습니다. 이는 일부 해결책을 찾는 데는 좋았지만, 20번의 시도 제한 내에 최선의 해결책에 도달하는 데는 자주 실패하며 끝없는 실험의 루프에 갇히곤 했습니다.

거대한 발견: "무엇을 아는가" vs "어떻게 하는가"

가장 놀라운 발견은 특정 실험에서 나왔습니다. 연구진은 AI에게 무엇이 변했는지 정확히 알려줌으로써(예: "마찰력이 이제 0.5입니다") 도움을 주려고 시도했습니다. 여러분은 이것이 작업을 쉽게 만들 것이라고 생각할 수도 있습니다.

하지만 그렇지 않았습니다. 심지어 AI가 새로운 물리 법칙의 정확한 수치를 알고 있었음에도 불구하고, 여전히 문제를 해결하지 못했습니다. 이는 진짜 병목 현상이 파라미터 추론(수치가 무엇인지 알아내는 것)이 아니라, 메커니즘 재설계(그 수치에 맞춰 구조를 어떻게 다시 설계할 것인가)에 있다는 것을 시사합니다. 풍속이 시속 50마일이라는 것을 아는 것만으로는, 그 바람을 견딜 수 있도록 다리의 형태를 어떻게 바꿔야 하는지 모른다면 아무런 도움이 되지 않습니다.

이것이 왜 중요한가

이 논문은 AI가 정적인 문제를 해결하는 데는 점점 더 능숙해지고 있지만, 세상이 변할 때 적응하는 데는 여전히 매우 서투르다고 결론짓습니다. 현재의 '자기 진화형' 도구들은 너무 경직되어 있거나, 기존 아이디어에 너무 갇혀 있거나, 혹은 안정적인 해결책을 찾기에 너무 혼란스럽습니다.

저자들은 AI가 진정한 평생 학습자가 되기 위해서는 단순히 파라미터를 조정하는 것이 아니라, 메커니즘을 재설계하는 법을 더 잘 배워야 한다고 제안합니다. PACE-Bench는 이를 테스트할 수 있는 재현 가능한 방법을 제공하며, 복잡하고 끊임없이 변화하는 실제 세상에서 작동하기를 희망하는 차세대 AI를 위한 '스트레스 테스트' 역할을 합니다. 현재로서는, 얼음 위에서 무너진 다리를 보고 즉시 더 나은 다리를 짓는 법을 알 수 있는 AI를 갖기까지는 아직 갈 길이 멀다는 것이 이 논문의 시사점입니다.

기술 요약: PACE-Bench

문제 정의

기존의 자기 진화 에이전트(self-evolving agents) 벤치마크는 주로 고정된 실행 조건 하에서의 성능을 평가하거나, 학습된 기술을 새로운 미학습 태스크로 전이하는 능력을 측정합니다. 그러나 이러한 벤치마크들은 목표와 인터페이스는 동일하지만 기저의 물리적 환경이 변할 때, 이전에 성공했던 실행 가능한 설계를 적응시키는 에이전트의 능력을 테스트하는 데는 실패합니다. 실제 배포 환경에서 운영 조건(예: 마찰력, 재료 강도, 역학 등)은 빈번하게 변화하며, 이는 기존의 솔루션을 무용지물로 만듭니다. 현재의 에이전트들은 무엇이 변했는지에 대한 명시적인 지시 없이도 구식 가설을 식별하고, 유용한 구성 요소를 보존하며, 새로운 물리적 제약 조건 하에서 작동하도록 메커니즘을 재설계하는 데 어려움을 겪고 있습니다.

방법론

저자들은 동적인 물리 환경에서의 자기 진화 적응을 평가하기 위해 설계된 시뮬레이터 기반 벤치마크인 PACE-Bench(Physics Adaptation via Code Evolution)를 소개합니다.

벤치마크 구축

범위: 본 벤치마크는 정역학(Statics), 운동학(Kinematics), 동역학(Dynamics), 입자/유체 상호작용(Granular/Fluid Interaction), 사이버네틱스/제어(Cybernetics/Control), 그리고 이색 물리(Exotic Physics)의 6개 물리 도메인에 걸친 **144개의 소스-타겟 적응 쌍(source-to-target adaptation pairs)**으로 구성됩니다.
태스크 구조: 각 베이스 태스크는 고정된 컨텍스트(목표, 제약 조건, 프리미티브 API)와 5개의 환경( $E_0$ $E_{0}$ ~ $E_4$ $E_{4}$ )을 정의합니다.
- $E_0$ 는 참조 솔루션이 성공하는 **소스 환경(source environment)**입니다.
- $E_1$ 부터 $E_4$ 까지는 물리적 파라미터(예: 중력, 마찰력, 관절 한계, 바람의 힘 등)가 체계적으로 변경된 **변형된 타겟 환경(mutated target environments)**입니다.
- 소스 솔루션은 모든 타겟 환경에서 반드시 실패하도록 보장되며, 각 타겟 환경에 대해서는 검증된 참조 설계(reference design)가 존재합니다.
평가 프로토콜: 에이전트에게 소스 솔루션( $x_0$ $x_{0}$ )과 타겟 환경( $E_k$ $E_{k}$ )이 주어집니다. 에이전트는 코드 기반 설계를 반복적으로 수정할 수 있는 **20회의 시도 횟수(budget)**를 가집니다.
- 에이전트는 진단용 샌드박스 피드백(예: 피크 관절 힘, 실패 타임스탬프, 제약 여유분)을 받지만, 어떤 특정 물리적 파라미터가 변했는지는 알지 못합니다(Change-Hidden 설정).
- 에이전트는 숨겨진 변화를 추론하고 타겟 환경을 통과할 수 있도록 메커니즘을 재설계해야 합니다.
데이터셋 파이프라인: 데이터셋은 모듈 간 일관성을 위한 자동 감사, 난이도 상승(Qwen3-4B가 독립적인 두 번의 실행에서 실패하도록 보장), 그리고 물리/공학 전문가의 인간 검증을 포함하는 3단계 프로세스를 통해 구축되었습니다.

실험 설정

저자들은 다양한 모델 크기(Qwen3-4B/8B/14B/32B, DeepSeek-V4-Pro, GPT-5.5 등)를 사용하여 네 가지 패러다임에 걸친 10가지 자기 진화 방법을 평가했습니다:

컨텍스트 기반(Context-based): Reflexion, Self-Refine.
메모리 증강(Memory-augmented): ACE, ExpeL, ReasoningBank.
추론 시간 탐색(Inference-time Search): Tree-of-Thoughts (ToT), CodeEvolve.
파라미터 기반(Parameter-based): SEAL, RAGEN, TTT-Discover.

지표: Pass@2 (두 번의 실행 중 적어도 하나가 성공하는 쌍의 비율) 및 Score@2 (두 번의 실행 중 최적 점수의 평균).
분석: 연구에는 코드 유사성 분석(고착 현상 vs 탐색 감지), 오류 분류(파괴적 붕괴 또는 정체와 같은 실패 유형 분류), 그리고 정보 공개 여부(Change-Exposed) 및 시각적 피드백(VLM 비디오)에 대한 절제 연구(ablation studies)가 포함됩니다.

주요 결과

벤치마크 포화도: 벤치마크는 아직 포화 상태에 훨씬 못 미칩니다. 가장 강력한 구성인 Reflexion + Qwen3-14B조차 전체 벤치마크 쌍의 **35.9%**만을 성공시킵니다. 심지어 GPT-5.5도 전체 예산 하에서 정역학(Statics) 서브셋의 **66.7%**만을 해결합니다.
패러다임 성능:
- Reflexion (컨텍스트 기반)은 Vanilla 및 다른 방법들을 지속적으로 능가하며, 시뮬레이터에 기반한 성찰(reflection)이 검증되지 않은 자기 수정보다 더 신뢰할 수 있음을 보여줍니다.
- **Tree-of-Thoughts (ToT)**는 높은 효율성(Score/Hr)을 보이지만, 20회의 시도 예산 내에 수렴하는 데 어려움을 겪으며 종종 해결책을 찾지 못한 채 탐색만 수행합니다.
- 메모리 증강 방법(예: ACE)은 에이전트를 초기 설계에 고착시켜, 검색된 경험이 더 강력한 모델이 필요한 재설계를 탐색하는 것을 방해하는 "설계 고착(Design Fixation)" 현상을 초래합니다.
- Self-Refine은 검증되지 않은 내부 루프 수정이 오류를 누적시키기 때문에 저조한 성능을 보입니다.
실패 모드: 에이전트는 주로 설계 고착(좁은 설계 계열에 갇힘) 또는 정체/탐색(진전 없이 무방향적인 변화를 수행함)으로 인해 실패합니다. 모델 스케일링은 복잡한 물리적 재설계에 필요한 조합 탐색 문제를 해결하기보다는 추론 능력을 향상시키는 데 더 효과적입니다.
정보 비대칭성: 정확히 변경된 물리적 파라미터를 공개하는 것(Change-Exposed)이 상위 모델들의 성능 상한을 크게 높이지는 않습니다. 이는 주요 병목 현상이 파라미터 추론("무엇이 변했는가")보다는 메커니즘 재설계("어떻게 해야 하는가")에 있음을 시사합니다.
시각적 피드백: VLM을 통한 비디오 피드백을 추가하는 것은 메모리 기반 방법(오래된 메모리를 상쇄함으로써)에는 도움이 되지만, 컨텍스트 기반 방법(집중된 추론을 분산시킴으로써)에는 방해가 될 수 있습니다.

의의 및 주장

본 논문은 PACE-Bench를 변화하는 환경에서 자기 진화 에이전트를 진단하고 개선하기 위한 재현 가능한 테스트베드로 포지셔닝합니다. 주요 기여는 다음과 같습니다:

새로운 평가 패러다임: 이를 새로운 태스크로의 일반화를 넘어, 물리적 변화 하에서 기존 실행 가능한 설계를 적응시키는 것으로 초점을 전환하며, 이는 실제 배포를 위한 핵심 능력입니다.
진단적 통찰: 벤치마크는 현재의 자기 진화 에이전트들이 탐색(exploration)과 활용(exploitation) 사이의 긴장에 어려움을 겪고 있음을 드러냅니다. 또한, 메커니즘을 재설계하는 방법("how to know")을 아는 것만으로는 부족하다는 점을 강조합니다.
방법론적 가이드: 결과는 시뮬레이터 기반의 성찰이 강력한 전략인 반면, 메모리 메커니즘은 강력한 모델을 의도치 않게 제약할 수 있음을 시사합니다. 또한 단순히 모델 크기를 키우는 것만으로는 물리적 메커니즘 재설계라는 근본적인 어려움을 해결할 수 없음을 나타냅니다.

저자들은 PACE-Bench가 역동적인 물리 세계에서 평생 적응(lifelong adaptation)할 수 있는 에이전트를 개발하기 위한 필수적인 토대를 제공한다고 결론지으며, 현재의 프런티어 모델들이 이 영역에서 여전히 상당한 과제에 직면해 있음을 언급합니다.