AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

체스 경기를 보고 있다고 상상해 보세요. 단순히 마지막 수를 보는 것이 아니라, 당신이 내딛는 모든 단계마다 완벽한 대응책을 찾아내려는 슈퍼컴퓨터가 상대방에게 있다면 경기가 어떻게 변할지 알고 싶어 합니다. 이것이 바로 인공지능의 "적대적 평가(adversarial evaluation)"가 존재하는 세계입니다. 쉽게 말해, 이는 스마트한 컴퓨터 프로그램이 단순히 퍼즐을 풀 수 있는지 확인하는 것을 넘어, 라이벌 컴퓨터가 그 해결책을 무너뜨리려고 적극적으로 시도할 때 얼마나 잘 버텨내는지를 테스트하는 것입니다. 보통 우리는 AI에게 "과업을 완료했습니까?"라고 묻습니다. 하지만 현실 세계에서는 누군가가 "그것을 어떻게 막을 수 있을까?"라고 생각하며 계획을 실패하게 만드는 경우가 많습니다. 이 논문은 우리의 AI 플래너들이 정말로 강한 것인지, 아니면 그저 운이 좋은 것인지를 확인하기 위해 이 복잡하고 경쟁적인 영역 속으로 들어갑니다.

이 연구를 진행한 Anote AI와 여러 대학의 연구진은 이러한 "계획 생성 에이전트(plan-generation agents)"를 테스트하는 방식에 격차가 있다는 점을 발견했습니다. 대부분의 테스트는 학생에게 수학 문제를 주고 정답이 맞는지 확인하는 것과 같습니다. 하지만 실제 전투나 복잡한 전략 게임에서는 정답이 상대방이 무엇을 하느냐에 따라 완전히 달라집니다. 이를 해결하기 위해 그들은 AdvPlan-Bench를 구축했습니다. 이것을 당신의 숙제를 대신 해주는 새로운 로봇이 아니라, 매우 엄격하고 구체적인 "스트레스 테스트 체육관"이라고 생각하십시오. 이곳은 블루 팀(플래너)이 구조화된 계획을 세우려 하고, 레드 팀(상대방)은 그것을 저지할 최선의 방법을 찾으려 하는 놀이터입니다. 목표는 슈퍼 솔저를 만드는 것이 아니라, 압박이 가해지는 상황에서 병사들이 실제로 얼마나 강한지를 측정하는 더 나은 자를 만드는 것입니다.

블루 대 레드의 게임

AdvPlan-Bench의 핵심 아이디어는 계획을 정적인 종이 조각처럼 취급하지 않는 것입니다. 대신, 상대방이 먼저 생각할 기회를 갖는 게임의 한 수처럼 취급합니다. 그들의 설정에서 "블루" 에이전트는 목표와 규칙이 포함된 일련의 행동 체인인 계획을 생성합니다. 그런 다음 "레드" 에이전트가 대응책을 생성하려고 시도합니다. 반전은 무엇일까요? 레드 에이전트는 단 하나의 대응책만을 추측하는 것이 아니라, 블루의 계획을 가장 크게 해칠 수 있는 대응책을 찾기 위해 여러 가지 가능한 대응책을 샘플링한다는 것입니다.

연구진은 다섯 가지 "템플릿"(다양한 시나리오 유형)에 걸쳐 이 시뮬레이션을 150회 실행했습니다. 이 템플릿들은 도시 안정성, 해상 차단(선박 저지), 방공, 인도적 구호 대피와 같은 유형들입니다. 이것들은 실제 군사 작전이 아닙니다. AI가 자원을 어떻게 조정하고 예기치 못한 상황을 처리하는지 테스트하기 위해 설계된 합성된 가상의 이야기들입니다.

무엇을 발견했는가: 시도할수록 더 어려워진다

가장 흥ente한 발견은 테스트 방식이 매우 중요하다는 점입니다. 레드 팀이 단 하나의 대응책만을 시도했을 때, 블루 팀은 놀라울 정도로 훌륭해 보였습니다. 그들은 **90%**의 승률을 기록했고, "이점 점수(advantage score)"는 0.518이었습니다. 블루의 계획은 천하무적처럼 보였습니다.

하지만 연구진이 레드 팀에게 더 똑똑해져서 최선의 것을 찾기 위해 여덟 개의 서로 다른 대응책을 시도하라고 지시하자, 블루 팀의 성과는 떨어졌습니다. 갑자기 승률은 **82%**로 낮아졌고, 이점 점수는 0.486으로 미끄러졌습니다. 이는 많은 계획이 고립된 상태에서는 완벽해 보일지라도 실제로는 상당히 취약하다는 것을 시사합니다. 그 계획들이 좋아 보이는 이유는 단지 상대방이 그것을 깨뜨리기 위해 충분히 노력하지 않았기 때문입니다.

논문은 또한 "제약 인식(constraint-aware)" 전략을 테스트했습니다. 누가 더 많은 점수를 얻었는지뿐만 아니라 규칙이 준수되었는지도 확인하는 심판을 상상해 보십시오. 레드 팀이 이 더 똑똑한 접근 방식을 사용했을 때, 블루의 승률은 **80.7%**로 더욱 떨어졌습니다. 이는 어떤 계획이 높은 "합성 품질(synthetic quality)"(서류상으로는 좋아 보임)을 가질 수 있지만, 현실 세계의 복잡한 제약 조건을 무시한다면 여전히 취약할 수 있음을 보여줍니다.

"위원회(Council)" 실험

블루 팀을 더 강하게 만들 수 있는지 확인하기 위해, 연구진은 "다중 에이전트 위원회(multi-agent council)"를 시도했습니다. 한 명의 AI가 계획을 만드는 대신, 다섯 명의 서로 다른 AI 에이전트가 아이디어를 제안하게 하고, 레드 팀이 이를 비판하게 한 뒤, 최종적으로 "판사"가 가장 좋은 두 가지를 골라 수정하고 보완하도록 했습니다.

이 위원회 접근 방식은 블루 팀이 지면을 일부 회복하는 데 도움이 되었습니다. 위원회와 함께했을 때 승률은 **81.3%**로 다시 올라갔고, 이점 점수는 0.509가 되었습니다. 흥미롭게도, **75.3%**의 사례에서 최종 승리한 계획은 "수정된" 세트, 즉 비판을 받은 후 고쳐진 계획에서 나왔습니다. 이는 AI 집단이 서로의 작업을 비판하고, 수정하고, 보완하는 과정이 단 한 명의 AI가 추측하게 두는 것보다 훨씬 더 견고한 계획을 만든다는 것을 시사합니다.

숨겨진 결함: "프레이밍(Framing)"에 대한 교훈

이 논문에서 가장 흥미롭고 중요한 발견 중 하나는 자신들의 코드에서 발견한 "조용한 실패(silent failure)"였습니다. 처음에 그들은 시나리오의 "프레이밍"(예를 들어, 그것이 "인도적 임무"로 묘사되든 "군사 작전"으로 묘사되든)이 중요하지 않다고 생각했습니다. 그들은 테스트를 실행했고, 결과는 정확히 변화가 없었습니다. AI는 이야기를 신경 쓰지 않고 맥락을 무시했습니다.

그들은 생성기가 실제로 이야기를 사용하여 계획을 변경하지 않고 있다는 것을 깨달았습니다. 일단 AI가 이야기를 실제로 읽고 목표를 조정하도록 코드를 "패치"하자, 결과가 바뀌었습니다. "프레이밍 민감도"가 0.066으로 급증했습니다. 이는 AI를 구축하는 모든 이들에게 큰 교훈을 줍니다. 당신의 테스트가 "효과 없음"이라고 말한다고 해서 그것이 AI가 똑똑하다는 뜻은 아닙니다. 단지 당신의 테스트가 AI와 제대로 대화하지 못하고 있다는 뜻일 수도 있습니다.

결론

AdvPlan-Bench는 실제 전쟁이나 재난을 위한 완벽한 플래너를 만들었다고 주장하지 않습니다. 사실, 저자들은 매우 분명하게 밝힙니다: 이것은 운영 시스템이 아닙니다. 이것은 연구자들이 자신의 아이디어가 압박 속에서 어떻게 버티는지 확인할 수 있는 합성 벤치마크입니다.

이 논문은 만약 우리가 AI 플래너를 신뢰하고 싶다면, 단순히 문제를 한 번 해결하라고 요구해서는 안 된다고 제안합니다. 우리는 스마트한 상대가 그것을 막으려고 노력하는 동안에도 문제를 해결하라고 요구해야 하며, 단 하나의 최선이 아니라 가능한 답변의 전체 "경계(frontier)"를 살펴봐야 합니다. 이러한 스트레스 테스트를 사용함으로써, 우리는 어떤 계획이 진정으로 견고한지, 그리고 어떤 계획이 그저 운이 좋은 것인지를 알아낼 수 있습니다. 저자들이 말했듯, 이 벤치마크는 "적대적 계획(adversarial planning)"이라는 복잡한 기술을 하나의 합성 시나리오를 통해 측정하고, 비교하고, 개선할 수 있는 것으로 바꿔 놓습니다.