Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

기술 요약: 구체화된 LLM 탐구: 더 높은 관찰 충실도가 문제 해결에 해를 끼치는 경우

문제 제기
대형 언어 모델(LLM) 은 비구조화된 환경에서 작동하는 로봇 시스템의 인지 구성 요소로 점점 더 많이 배포되고 있습니다. 그러나 그 불투명한 의사 결정 과정으로 인해 폐쇄 루프 구체적 작업에서 진정한 추론 능력과 우연한 성공을 구분하기 어렵습니다. 누적 성공률과 같은 성능 지표는 에이전트가 일관된 추론을 통해, 우연한 탐색을 통해, 아니면 지각 오류와 추론 실패 간의 상호작용을 통해 작업을 해결했는지 여부를 종종 드러내지 못합니다. 구체적으로, 관찰 입력의 충실도(원시 감각 데이터에서 완벽한 기호적 기준 진실까지) 가 구체적 LLM 에이전트의 행동 메커니즘에 어떻게 영향을 미치는지는 여전히 불분명합니다.

방법론
저자들은 시스템 식별과 정렬된 경험적 AI 방법론을 사용하여 LLM 에이전트를 통제된 개입을 통해 탐구해야 할 불투명한 시스템으로 취급합니다.

• 작업: 본 연구는 숨겨진 상호의존성을 가진 네 개의 조인트로 구성된 순차적 기계 퍼즐인 "Lockbox"를 활용합니다. 목표는 특정 순서로 조인트를 조작하여 상자를 해제하는 것입니다. 이 작업은 시간에 따른 관찰을 통합하고 잠재적 상태 의존성을 추론하는 것을 요구합니다.
• 실험 설정:
  • 물리적 설정: 소프트 엔드 이펙터를 갖춘 프랑카 에미카 판다 로봇 팔이 물리적 Lockbox 를 조작합니다. 시스템은 RGB-D 카메라와 힘-토크 센서를 사용합니다.
  • 시뮬레이션: 통제된 시뮬레이션 환경은 물리적 작동 변이성으로부터 추론 문제를 격리하여 관찰 채널의 체계적 교란을 가능하게 합니다.
• 개입: 연구는 세 가지 모달리티에 걸쳐 LLM(물리적 실험에서는 OpenAI GPT-o1, 시뮬레이션에서는 GPT-4o) 에 제공되는 관찰 충실도를 변화시킵니다:
  1. RGB: 원시 시각 이미지.
  2. RGB-D: 깊이 데이터가 보강된 시각 이미지.
  3. 기준 진실 기호적 상태: 비전 파이프라인을 완전히 우회하는 조인트 상태에 대한 명시적 텍스트 설명.
• 탐구 메커니즘: 시뮬레이션에서 저자들은 확률적 요소가 성능에 미치는 영향을 테스트하기 위해 다양한 확률(0% 에서 60% 까지) 로 행동의 지각된 결과(상태 반전) 를 무작위로 뒤집는 통제된 관찰 노이즈를 도입합니다.

주요 결과
이 연구는 관찰 충실도와 작업 수행 간의 역설적인 관계를 드러냅니다:

1. 충실도 대 성능: 더 정확한 관찰이 추론을 개선한다는 가정과 달리, 에이전트는 원시 RGB 입력으로 가장 잘 수행했고 완벽한 기준 진실 기호적 상태로는 가장 나쁘게 수행했습니다. RGB-D 모달리티는 중간 결과를 낳았습니다.
   • GPT-o1 은 RGB 입력으로 11 단계에서 80% 의 성공률을 달성한 반면, 기준 진실 조건에서는 동일한 성공률에 도달하는 데 15 단계가 필요했습니다.
   • 인간에서 영감을 받은 휴리스틱은 9 단계에서 100% 의 성공을 달성하여 입력과 관계없이 LLM 의 비효율성을 강조했습니다.
2. 오해 분석:
   • 시각 모달리티(RGB/RGB-D) 는 높은 상태 오해율(약 21~27%) 을 보였으며, 이는 일관되지 않은 지각적 기반을 시사합니다.
   • 놀랍게도 기준 진실 조건에서도 약 5% 의 오해율을 보였는데, 이는 명시적이고 정확한 데이터를 받음에도 불구하고 모델이 상태 변화를 "환각"했기 때문으로 귀결됩니다.
3. 비단조적 노이즈 반응: 시뮬레이션에서 적절한 노이즈(무작위 상태 반전) 를 도입하면 노이즈가 없는 기준선에 비해 성능이 향상되었습니다.
   • 성공률은 40% 의 상태 반전 확률에서 정점을 찍어 노이즈가 없는 기준선 대비 2.85 배 증가했습니다.
   • 성능은 더 높은 노이즈 수준(>40%) 에서 다시 저하되었습니다.
4. 개선 메커니즘: 적절한 노이즈 하에서의 성능 향상은 반복적 행동 루프의 감소와 연결됩니다.
   • 행동 루프(진전 없이 행동의 하위 시퀀스를 반복) 는 성공과 음의 상관관계를 보였습니다.
   • 완벽한 관찰은 행동이 예상된 변화를 생성하지 못할 때 에이전트가 이러한 루프에 진입하고 머무르게 했습니다.
   • 적절한 지각적 노이즈는 이러한 루프를 방해하여 에이전트가 대안 행동을 탐색하도록 강요함으로써 실패의 순환을 깨뜨렸습니다.

주요 기여

• 행동 탐구 프레임워크: 본 논문은 결과 기반 지표에만 의존하는 대신 관찰 채널을 교란하여 근본적인 행동 메커니즘을 드러냄으로써 구체적 LLM 을 평가하는 방법론을 확립합니다.
• 역설적 충실도 발견: 더 높은 관찰 충실도가 구체적 LLM 의 문제 해결을 적극적으로 방해할 수 있음을 입증하여 "더 나은 데이터"가 "더 나은 추론"으로 이어진다는 표준 가정에 도전합니다.
• 실패 모드 식별: 본 연구는 "반복적 행동 루프"를 구체적 LLM 의 중요한 실패 모드로 식별하며, 지각적 오류가 재귀적 의사 결정 패턴을 방해함으로써 우연히 이러한 문제를 완화할 수 있음을 보여줍니다.

의의 및 주장
저자들은 성공률만으로는 구체적 LLM 을 평가하기에 부족하다고 주장합니다. 측정된 성능은 견고한 문제 해결 능력보다는 지각적 오류와 추론 실패 간의 "우연한 상호작용"을 반영할 수 있습니다.

이 논문은 폐쇄 루프 상호작용에서 관찰이 단순히 수동적인 입력이 아니라 의사 결정 역학을 적극적으로 형성한다고 주장합니다. 따라서 더 낮은 충실도의 입력 하에서 나타나는 우수한 성능은 더 강력한 추론의 증거로 해석되어서는 안 됩니다. 대신, 정확한 피드백에 의해 유지되는 특정 실패 모드(예: 행동 루프) 를 우연히 방해하는 누적 지각적 오류의 부작용을 반영할 수 있습니다.

저자들은 구체적 LLM 의 엄격한 평가를 위해서는 지각적 한계와 추론 능력을 분리해내기 위해 통제된 행동 개입과 결합된 현실 세계 폐쇄 루프 벤치마크가 필요하다고 결론지었습니다. 또한 그들의 발견은 평가된 모델과 작업에 특정적이며, 이러한 행동이 다른 모델 아키텍처와 제공자 전반에 걸쳐 일반화되는지 확인하기 위한 향후 연구가 필요하다고 지적합니다.