기술 요약: 정직한 거짓말: 반성적 에이전트에서의 기억 착각 이해

문제 정의

반성 (Reflexion) 스타일의 에이전트는 실패로부터 학습하기 위해 반복된 시도 전반에 걸쳐 자연어 기반의 자기 생성 반성을 기억으로 활용합니다. 이 아키텍처는 에이전트가 자신의 실패를 정확하게 진단할 수 있다는 가정을 암묵적으로 전제합니다. 그러나 저자들은 이 가정이 체계적으로 실패하며, 이를 '기억 착각 (memory confabulation)'이라고 명명된 실패 모드로 이어진다고 입증했습니다.

기억 착각은 에이전트가 작업의 정확하지 않은 해석을 자신감 있게 반성 기억에 기록한 후, 환경이 매 단계마다 올바른 작업 설명으로 재설정되더라도 이러한 잘못된 신념에 따라 여러 차례의 시도를 수행할 때 발생합니다. 단일 생성 오류인 일반적인 환각 (hallucination) 과 달리, 기억 착각은 잘못된 내용이 저장되고, 검색되며, 실행되고, 이후의 반성들에 의해 강화되는 다중 시도 실패입니다. 저자들은 이 현상이 에이전트가 다단계 궤적에 대한 정확한 인과적 진단을 수행하는 것을 방해하는 이진 피드백(통과/실패 신호) 에 의해 주도된다고 주장합니다.

방법론

본 연구는 기억 착각을 구체화하여 ALFWorld(가정 내 항해) 와 HumanEval(코드 생성) 두 가지 도메인에서 평가했습니다.

1. 운영적 정의

• 기억 착각: 작업 설명이 에피소드 시작 시점에 항상 제공됨에도 불구하고, 반성이 작업의 올바른 대상 객체를 언급하지 않는 경우 ($obj(\tau) \notin r_t$) 해당 반성을 착각된 것으로 정의합니다.
• 반성 반복률 (RRR): '얼어붙은 (frozen)' 반성 기억을 탐지하도록 설계된 로그 기반 지표입니다. 이는 이전 반성과 유사도 (0.85 이상) 가 높은 거의 중복된 반성들의 비율을 측정합니다. $RRR \ge 0.5$인 경우 환경을 '얼어붙은' 것으로 간주합니다.
• 실패 범주: 얼어붙은 환경은 다음과 같이 분류됩니다.
  • 기억 해로운 (Memory-harmful): 에이전트가 기억 없이 작업을 더 빠르게 해결하는 경우로, 저장된 반성이 적극적으로 오도했음을 나타냅니다.
  • 작업 난이도 (Task-hard): 에이전트가 기억 없이도 실패하는 경우로, 기억의 질과 무관한 능력 격차를 나타냅니다.

2. 실험 설정

저자들은 50 개의 ALFWorld 환경과 23 개의 HumanEval 문제를 포괄하는 기존 gpt-3.5-turbo 를 사용한 Reflexion 실행 로그를 분석했습니다. 이를 통해 16 개의 '얼어붙은' ALFWorld 환경과 4 개의 얼어붙은 HumanEval 문제를 식별했습니다.

인과성을 확립하기 위해 저자들은 각 시도 전에 기억을 완전히 지우는 제거 (ablation) 연구를 수행했습니다. 또한 두 가지 완화 전략을 테스트했습니다:

1. 근거 기반 반성 (Grounded Reflection): 계획을 제안하기 전에 에이전트가 실패한 특정 단계를 인용하도록 요구하는 구조화된 프롬프트.
2. 프로그래밍적 피드백 추출: 개방형 자기 진단을 대신하여 특정 실패 신호 (ALFWorld 의 "Nothing happens" 응답 또는 HumanEval 의 특정 어설션 오류 등) 를 추출하여 반성 프롬프트에 직접 주입하는 파서로 대체.

주요 결과

착각의 증거

• ALFWorld: 16 개의 얼어붙은 환경에서 121 개의 반성 중 0 개가 올바른 대상 객체를 언급했습니다. 에이전트는 완전히 새로운 작업 정체성을 조작했습니다 (예: 'Mug'를 'CoffeeMachine'에 넣는 작업이었음에도 '마이크로파'에서 '토마토'를 찾는다고 주장).
• 상관관계: RRR 과 작업을 해결하는 데 필요한 시도 횟수 사이에 강한 양의 상관관계 ($r = 0.808, p < 0.0001$) 가 있어, 얼어붙은 기억이 실패의 신뢰할 수 있는 예측 변수임을 시사합니다.
• 교차 도메인 패턴: 이진 결과 수준 피드백을 가진 도메인 (ALFWorld, WebShop, HotpotQA) 은 단위 테스트가 구체적인 단계별 오류 정보를 제공하는 HumanEval(17%) 에 비해 얼어붙은 비율이 유의미하게 높았습니다 (32%~82%).

완화 결과

• 프로그래밍적 피드백 추출: 이 접근 방식은 ALFWorld 에서 RRR 을 0.64 에서 0.10으로 크게 낮추고 올바른 대상 언급률을 **0% 에서 86%**로 높였습니다. 특히, 다른 모든 조건에서 실패했던 환경 하나를 포함하여 16 개 중 3 개의 얼어붙은 환경을 해결했으며, 표준 Reflexion 은 0 개를 해결했습니다.
• 근거 기반 반성: 이는 해결 가능한 "obj 보기" 작업에서 착각을 방지하여 (기억 없는 기준선과 일치하는 성능) 성공했으나, '작업 난이도' 환경에서는 성능 향상을 이루지 못했습니다.
• HumanEval: 프로그래밍적 추출은 RRR 을 0.59 에서 0.44 로 낮추고 모든 반성이 특정 오류 유형을 언급하도록 보장했으나, 이진 검색 구현 오류와 같은 근본적인 알고리즘적 능력 격차는 해결하지 못했습니다.

모델 능력 대 착각

gpt-4o-mini 로 연구를 재현한 결과, 더 강력한 모델은 작업 정체성 착각(100% 올바른 대상 언급) 을 제거하지만 능력 격차가 존재할 경우 반드시 작업을 해결하는 것은 아니라는 점이 드러났습니다. gpt-4o-mini 는 기억 없는 기준선과 동일한 수의 얼어붙은 환경 (16 개 중 2 개) 을 해결하여, 잘못된 신념을 방지하는 것과 실행 능력을 보유하는 것이 독립적인 실패 축임을 확인시켰습니다. 그러나 더 강력한 모델은 행동을 생성하는 계획 텍스트를 생성하는 것과 같은 새로운 착각 유형을 도입했습니다.

중요성과 주장

본 논문은 반성적 기억이 오류를 수정하기보다 오히려 잘못된 신념을 적극적으로 강화할 수 있다고 주장하며, 특히 피드백 신호가 이진이고 단계별 세분성이 부족할 때 그렇다고 합니다.

• 피드백 세분성 가설: 저자들은 착각의 근본 원인이 이진 피드백의 정보 부족에 있다고 주장합니다. 어느 단계가 실패했는지 알 수 없기 때문에 에이전트는 그럴듯하지만 인과적으로 잘못된 진단을 생성합니다. 단위 테스트와 같은 풍부하고 단계별 피드백은 착각을 자연스럽게 줄입니다.
• 쓰기 경로 검증: 저자들은 에이전트 기억 시스템에 대해 쓰기 경로 검증이 검색 품질만큼 중요하다고 결론지었습니다. 자신감 있고 그럴듯하지만 잘못된 신념을 저장하는 기억 시스템은, 해당 신념이 영향을 미치는 작업에 대해서는 아예 기억이 없는 것보다 worse(더 나쁨) 입니다.
• 구조적 취약성: 이 실패 모드는 Reflexion 에만 국한되지 않으며, 이진 실패 신호에 기반한 자기 생성 자연어 반성에 의존하는 모든 에이전트 아키텍처의 구조적 취약성입니다. 여기에는 단일 착각된 규칙이 고착되어 전역적으로 적용될 수 있는 ExpeL 과 같은 규칙 라이브러리 에이전트가 포함됩니다.

이 연구는 에이전트 설계가 미래에 개방형 자기 진단을 넘어, 에이전트가 자신의 실패를 자신감 있게 잘못 기억하는 '정직한 거짓말'을 방지하기 위해 실패 신호의 프로그래밍적 추출을 향해 나아가야 함을 시사합니다.