Multimodal LLM-assisted Evolutionary Search for Programmatic Control Policies

이 논문은 투명하고 검증 가능한 제어 정책 개발을 위해 멀티모달 대형 언어 모델과 진화적 탐색을 결합한 MLES 방식을 제안하며, 시각적 피드백을 통해 정책 생성을 자동화하고 PPO 와 유사한 성능을 달성함을 보여줍니다.

핵심

🚀 핵심 비유: "미스터리한 블랙박스 vs. 투명한 요리사"

기존의 AI(딥러닝) 는 미스터리한 요리사와 같습니다.

• 문제점: 이 요리사는 요리를 아주 맛있게 해내지만, 어떻게 재료를 섞고 불을 조절했는지 그 비법을 알려주지 않습니다. (블랙박스)
• 위험: 만약 요리에 문제가 생겼을 때 (예: 너무 짜다), 왜 그런지 알 수 없어서 고치기도 어렵고, 믿고 맡기기 어렵습니다.

이 논문이 제안하는 MLES는 투명한 요리사를 만드는 방법입니다.

• 해결책: 이 요리사는 요리를 하다가 실수하면, 왜 실패했는지 직접 보고 (시각적 피드백), "다음엔 소금을 덜 넣어야지"라고 스스로 생각하며 코드를 수정합니다.
• 결과: 만들어진 요리법 (정책) 은 사람이 읽을 수 있는 **명확한 레시피 (코드)**로 남습니다.

---

🧩 MLES 가 작동하는 3 단계 과정

이 방법은 **진화 (Evolution)**와 **거인 (LLM)**이 함께 일하는 방식입니다.

1. "아이들"을 키우는 진화 (Evolutionary Search)

• 상황: AI 가 달리기 게임 (Car Racing) 을 하려고 합니다.
• 방법: 처음에는 무작위로 달리는 "아이들 (초기 정책)"을 16 명 정도 뽑습니다.
• 진화: 이 아이들 중 달리는 게 가장 잘 되는 '유전'을 가진 아이들을 뽑아, 다음 세대를 만듭니다. 이것이 진화입니다.

2. "거인"이 코드를 짜다 (Multimodal LLM)

• 역할: 여기서 **거인 (대형 언어 모델, LLM)**이 등장합니다. 거인은 코딩을 잘하는 천재입니다.
• 작업: 거인은 "잘 달리는 아이"와 "못 달리는 아이"의 코드를 비교하며, **"어떻게 하면 더 잘 달릴까?"**라고 생각해서 새로운 코드를 만들어냅니다.
• 특이점: 기존 방식은 거인에게 "점수가 낮아"라고 숫자만 알려줬다면, 이 방법은 거인에게 "실제 달리는 영상 (이미지)"을 보여줍니다.

3. "실수 분석"을 통한 교정 (Visual Feedback)

• 핵심 아이디어: 숫자 점수만 보면 "왜 넘어졌는지" 모릅니다. 하지만 영상을 보면 "아, 커브를 돌 때 너무 빨리 달려서 미끄러졌구나!"라고 알 수 있습니다.
• 과정:
  1. AI 가 달리는 모습을 영상으로 찍습니다.
  2. 거인 (LLM) 이 영상을 보고 **"여기서 실수했어. 핸들을 너무 급하게 꺾었어"**라고 분석합니다.
  3. 거인은 이 분석을 바탕으로 코드를 수정합니다. (예: "커브에서는 속도를 줄여라"라는 규칙 추가)
  4. 이렇게 수정된 코드로 다시 달리고, 다시 영상을 찍고, 다시 고치는 과정을 반복합니다.

---

🏆 왜 이것이 중요한가요?

1. 투명성 (Transparency):

   • 기존 AI 는 "왜 이렇게 움직였지?"라고 물으면 답이 없습니다.
   • 이 방법은 "왜 이렇게 움직였는지"가 코드와 주석으로 명확히 적혀 있습니다. 사람이 읽을 수 있어서 신뢰할 수 있습니다.

2. 효율성 (Efficiency):

   • 단순히 점수만 보고 시행착오를 반복하는 것보다, 실제 영상을 보고 실수를 분석하면 훨씬 빠르게 배웁니다. 마치 운전 교습소에서 강사가 "여기서 브레이크를 늦게 밟았어"라고 알려주는 것과 같습니다.

3. 성능 (Performance):

   • 실험 결과, 이 방법으로 만든 AI 는 가장 강력한 기존 AI(딥러닝) 와 동등한 성능을 내면서도, 훨씬 더 안전하고 예측 가능한 행동을 보였습니다.

💡 요약

이 논문은 **"AI 가 스스로 코드를 짜서 게임을 잘 치게 하는 방법"**을 제안합니다.
기존의 '깜깜한 블랙박스' 방식 대신, 거인 AI 가 실수 영상을 보고 "왜 실패했는지" 분석하여 코드를 수정하는 방식을 도입했습니다.

이 덕분에 만들어진 AI 는 **사람이 이해할 수 있는 레시피 (코드)**로 남게 되어, 자율주행이나 의료 같은 위험한 분야에서 더 안전하고 신뢰할 수 있게 사용할 수 있게 될 것입니다.

한 줄 요약: "AI 가 실수 영상을 보고 스스로 코드를 고쳐가며, 사람이 이해할 수 있는 명쾌한 운전법을 배워가는 새로운 방법!"

기술 요약

1. 문제 정의 (Problem Definition)

심층 강화학습 (DRL) 은 다양한 제어 작업에서 뛰어난 성능을 보이지만, 다음과 같은 근본적인 한계를 가지고 있습니다:

• 불투명성 (Opacity): DRL 정책은 신경망으로 표현되어 '블랙박스'처럼 작동하며, 의사결정 과정을 인간이 이해하거나 검증하기 어렵습니다. 이는 자율주행이나 의료와 같은 안전이 중요한 분야에서 신뢰를 떨어뜨리고 실제 배포를 방해합니다.
• 검증 및 디버깅의 어려움: 고차원 파라미터 공간에서의 그라디언트 기반 최적화는 학습된 지식을 분석하거나 재사용하기 어렵게 만듭니다.
• 기존 대안의 한계: 기존에 인간이 읽을 수 있는 정책 (Programmatic Policies) 을 찾는 방법들은 주로 사전 정의된 도메인 특화 언어 (DSL) 에 의존하거나, 사후 해석 (Post-hoc) 방식을 사용하여 일반화 능력이 제한적입니다.

이러한 문제를 해결하기 위해, 성능은 높으면서도 투명하고 검증 가능한 제어 정책을 자동으로 발견하는 새로운 패러다임이 필요합니다.

2. 방법론 (Methodology: MLES)

저자들은 멀티모달 대규모 언어 모델 (MLLM) 을 활용한 진화적 탐색 (Evolutionary Search) 프레임워크인 MLES를 제안합니다. 이는 기존의 LLM 보조 진화 탐색 (LES) 을 확장한 것으로, 다음과 같은 핵심 요소로 구성됩니다.

2.1 정책 표현 (Policy Representation)

각 후보 정책은 다음 4 가지 요소로 구성된 튜플로 표현됩니다:

1. 코드 (Code): 에이전트의 의사결정 로직을 정의하는 실행 가능한 Python 프로그램.
2. 사고 (Thought): 정책의 설계 의도와 핵심 전략을 설명하는 자연어 요약.
3. 정량적 지표 (Quantitative Metrics): 환경 실행을 통해 얻은 수치적 성능 (예: 보상, 성공률).
4. 행동 증거 (Behavioral Evidence, BE): 정책 실행의 원시 데이터 (이미지, 비디오, 상태 시퀀스 등) 를 기반으로 한 행동 패턴 분석.

2.2 핵심 혁신: 행동 기반 피드백 (Behavioral Evidence-Driven Analysis)

기존의 LES 가 단순한 스칼라 점수 (보상) 에만 의존하는 것과 달리, MLES 는 MLLM 을 활용하여 정책 실행의 시각적/행동적 증거 (BE) 를 분석합니다.

• 진단 및 수정: MLLM 은 정책이 실패한 구체적인 이유 (예: 급격한 조향, 잘못된 타이밍의 브레이킹) 를 이미지나 비디오를 통해 식별하고, 이를 바탕으로 정책 코드를 수정합니다.
• 목표 지향적 진화: 단순한 시행착오 (Trial-and-error) 가 아닌, 구체적인 실패 패턴을 진단하여 타겟팅된 개선을 수행함으로써 탐색 효율성을 극대화합니다.

2.3 진화적 탐색 루프 (Evolutionary Search Loop)

MLES 는 다음과 같은 사이클을 반복합니다:

1. 선택 (Selection): 정책 풀 (Policy Pool) 에서 상위 성능의 부모 정책을 선택.
2. 프롬프트 구성: 부모 정책의 코드, 사고, 그리고 **행동 증거 (BE)**를 포함하는 멀티모달 Few-shot 프롬프트를 생성.
3. 생성 (Generation): MLLM 이 프롬프트를 분석하여 새로운 자손 정책 (코드 + 사고) 을 생성.
   • 탐색 연산자 (E1, E2): 새로운 전략을 탐색하거나 기존 패턴을 일반화.
   • 수정 연산자 (M1_M, M2_M): BE 분석을 통해 기존 정책의 결함을 수정하거나 파라미터를 조정.
4. 평가 및 업데이트: 생성된 정책을 환경에서 실행하여 정량적 지표와 BE 를 수집하고, 정책 풀을 업데이트.

3. 주요 기여 (Key Contributions)

1. MLES 프레임워크 제안: MLLM 과 진화 연산 (EC) 을 결합하여, 보상 함수 설계가 아닌 직접적인 프로그램 제어 정책의 발견을 가능하게 하는 새로운 프레임워크를 제시했습니다.
2. 행동 증거 기반의 시각적 피드백: 정책 생성 파이프라인에 시각적 피드백 (이미지/비디오) 을 통합하여, MLLM 이 정책의 실패 원인을 진단하고 논리적으로 개선할 수 있도록 했습니다. 이는 확률적 탐색을 진단적 개선 과정으로 전환합니다.
3. 성능과 투명성의 동시 달성: Lunar Lander 와 Car Racing 과 같은 표준 제어 작업에서 강력한 DRL 기반선 (PPO) 과 유사한 성능을 달성하면서도, 완전히 인간이 읽을 수 있고 검증 가능한 코드 형태의 정책을 생성했습니다.
4. 지식 전이 및 재사용 용이성: 생성된 정책이 코드이므로, 사전 지식 (초기 정책) 을 쉽게 주입하거나 다른 작업으로의 지식 전이가 용이함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 OpenAI Gym 의 **Lunar Lander (이산 제어)**와 Car Racing (연속 제어, 고차원 이미지 입력) 작업에서 MLES 를 평가했습니다.

• 성능 비교:
  • Lunar Lander: MLES 는 PPO(Proximal Policy Optimization) 와 유사한 최고 성능 (평균 1.090) 을 달성했습니다.
  • Car Racing: MLES 는 PPO(평균 99.21) 와 매우 유사한 성능 (평균 98.07) 을 보였으며, EoH(기존 LES 방법) 보다 훨씬 우수한 성능을 기록했습니다.
• 수렴 효율성: MLES 는 PPO 나 DQN 보다 빠른 수렴 속도를 보였습니다. 특히 Car Racing 과 같은 복잡한 작업에서 MLES 는 더 적은 환경 리셋 횟수로 높은 성능에 도달했습니다.
• 행동 증거 (BE) 의 중요성: BE 를 사용하지 않는 변형 실험 (w/o M1_M, M2_M) 에서 성능이 급격히 하락하여, BE 기반의 행동 분석이 정책 진화의 핵심 동력임을 입증했습니다.
• 투명성 검증: 생성된 정책 코드는 20 명의 컴퓨터 과학 대학원생에게 검토를 요청되었으며, 코드의 가독성과 주석의 유용성이 높게 평가되었습니다. 또한, 정책이 어떻게 진화했는지 (실패 패턴 분석 및 개선 과정) 를 단계별로 추적할 수 있었습니다.

5. 의의 및 결론 (Significance)

이 논문은 제어 정책 개발의 새로운 패러다임을 제시합니다.

• 신뢰할 수 있는 AI: DRL 의 블랙박스 문제를 해결하여, 안전이 중요한 분야에서 인간이 이해하고 검증할 수 있는 제어 시스템을 제공합니다.
• 효율적인 탐색: MLLM 의 추론 능력과 시각적 피드백을 결합하여, 기존 DRL 이나 단순 진화 알고리즘보다 훨씬 효율적으로 최적 정책을 발견합니다.
• 확장성: MLLM 의 성능 향상과 함께 MLES 프레임워크의 성능도 자연스럽게 향상될 수 있으며, 다양한 제어 작업으로의 확장이 가능합니다.

결론적으로, MLES 는 고성능과 투명성을 동시에 만족시키는 제어 정책 개발을 위한 유망한 접근법으로, 실제 산업 현장 (자율주행, 로봇 제어 등) 에 적용될 수 있는 가능성을 크게 높였습니다.