기술 요약: 환경 불가지론적 에이전트가 왜곡되고 노이즈가 섞인 이미지로부터 ARC-AGI-3를 해결할 수 있는가?

문제 정의

본 연구는 심각한 시각적 부패(visual corruption) 상황에서 상호작용형 게임을 해결하는 환경 불가지론적(environment-agnostic) 에이전트의 강건성을 조사한다. 구체적으로, 게임 보드가 오직 기하학적으로 왜곡되고 노이즈가 섞인 이미지로만 제시될 때, 에이전트가 ARC-AGI-3(인공 일반 지능을 위한 추상화 및 추론 코퍼스) 게임을 해결할 수 있는지 테스트한다.

핵심 과제는 관찰과 행동 사이의 단절에 있다:

1. 시각적 부패: 에이전트는 독립적인 가우시안 픽셀 노이즈, 무작위 투영 변환(homographies), 그리고 매 프레임마다 발생하는 매끄러운 비선형 왜곡(Free-Form Deformation)이 적용되어 렌더링된 이미지를 받는다.
2. 좌표 불일치: 클릭이 필요한 게임의 경우, 에이전트는 원래의 왜곡되지 않은 $64 \times 64$ 보드 상의 좌표를 제출해야 한다. 그러나 타겟은 왜곡된 이미지 내의 변형된 위치에 나타난다. 에이전트는 명시적인 변환 파라미터 없이, 왜곡된 뷰를 원래의 좌표계로 매핑하는 변환 관계를 추론해야 한다.
3. 환경 불가지론: 에이전트 구현은 환경에 관계없이 동일하게 유지된다. 에이전트는 텍스트 그리드나 수치적 상태 표현에 접근하지 않고, 오직 제공된 작업 설명과 이미지 관찰에만 의존한다.

방법론

실험 설정

본 연구는 EnvTraverse 프레임워크를 통해 연결된 Stop-and-report 에이전트(ARC-AGI-3, AGI Maze, Terminal-Bench에서 이전에 평가된 환경 불가지론적 구현체)를 활용한다. 실험은 **본 연구(Main Study)**와 **후속 연구(Follow-up Study)**로 나뉜다.

환경:

• Clean-view: 수정되지 않은 PNG 보드 이미지를 사용하는 베이스라인.
• Distorted-view: 픽셀 노이즈($\sigma = 40, 80, 120$), JPEG 압축 아티팩트, 무작위 투영 변환, 그리고 비선형 왜곡(중간 및 강한 수준)을 도입한다.
• Cursor-feedback: Distorted-view에 보조 액션인 highlight_pixel(x,y)를 확장한 형태이다. 이 액션은 현재 상태를 두 번 렌더링한다: 하나는 표시가 없는 상태이고, 다른 하나는 제안된 보드 좌표의 변환된 위치를 가리키는 커서가 포함된 상태이다. 이는 좌표를 직접 수정하거나 액션 예산을 소모하지 않으면서, 좌표 매핑에 대한 시각적 피드백을 제공한다.

테스트 모델:

• GPT-5.6-sol: 모든 왜곡 유형과 노이즈 수준에 대해 평가되었다.
• GPT-6-astra: 성능 한계를 탐색하기 위해 가장 가혹한 조건 하에서 평가되었다.

지표:
성능은 레벨 완료율과 인간 참조 횟수 대비 액션 효율성을 결합한 **상대적 인간 액션 효율성(RHAE)**을 사용하여 측정된다.

후속 실험

저자는 GPT-6-astra의 한계를 조사하기 위해 커서 피드백 없이 다음 조건에서 실험을 수행했다:

1. 무작위 회전: 강한 왜곡 및 $\sigma=120$ 노이즈와 결합하여, 매 액션 후 무작위 보드 회전($0^\circ$–$360^\circ$)을 추가한다.
2. 극한의 노이즈: 강한 비선형 왜곡 하에서 가우시안 노이즈를 $\sigma = 360$ 및 $\sigma = 1200$으로 증가시킨다.
3. 프로토콜 수정: 에이전트가 불확실할 때 조기에 중단하는 "stuck protocol" 문제를 해결하기 위해, 명시적인 지침을 통해 의미 있는 행동을 취하도록 하는 수정된 에이전트(Stop-and-report3)를 테스트하였다.

주요 결과

1. 왜곡이 GPT-5.6-sol에 미치는 영향

• 기하학적 왜곡 vs 픽셀 노이즈: 기하학적 왜곡(투영 변환 및 왜곡)이 픽셀 노이즈 단독보다 성능을 훨씬 더 크게 저하시켰다. 무작위 호모그래피 하에서 전체 RHAE는 ~91%(clean)에서 ~50%로 떨어졌다.
• 커서 피드백: 피드백은 성능을 부분적으로 회복시켰는데, 특히 클릭 전용 게임(호모그래피 하에서 RHAE가 약 50 퍼센트 포인트 상승)에서 그러했다. 그러나 가장 강한 왜곡과 노이즈($\sigma=120$, 강한 FFD) 조건에서는 피드백이 있어도 성능이 여전히 낮았다(~15% RHAE).
• 비선형 왜곡: 강한 비선형 왜곡은 $\sigma=120$ 조건에서 GPT-5.6-sol의 RHHE를 피드백이 없을 때 16.23%, 피드백이 있을 때 14.48%로 감소시켰다.

2. GPT-6-astra의 성능

• 높은 강건성: GPT-6-astra는 가장 가혹한 본 연구 조건(강한 왜곡 + $\sigma=120$)에서도 커서 피드백 없이 근접 천장 성능(95.44% RHAE)을 달성하며 25개 중 24개의 게임을 완료했다. 피드백을 사용하면 25개 게임을 모두 완료했다 (99.53% RHAE).
• 후속 실험의 한계:
  • 회전: 무작위 회전을 추가해도 RHAE는 완만하게 감소했다 (95.44% $\to$ 93.06%).
  • 극한의 노이즈: $\sigma=360$에서 수정된 에이전트(Stop-and-report3)는 71.77% RHAE를 달성했다. $\sigma=1200$에서는 성능이 17.37%로 떨어졌으나, 에이전트는 여전히 10/25 게임을 완료했다.
  • 사례 연구 (lf52): $\sigma=1200$에서 에이전트는 게임 lf52에 대해 99.38% RHAE를 달성했다. 에이전트의 워크스페이스 분석 결과, 에이전트는 결정을 내리기 전 관찰값을 디노이징하고 언-워핑(unwarp)하기 위해 OpenCV를 사용하여 31개의 파이썬 스크립트와 거의 1,000개의 처리된 이미지를 생성했음을 보여주었다.

핵심 기여

1. 시각적 강건성의 정량화: 본 연구는 기하학적 왜곡이 픽셀 노이즈보다 환경 불가지론적 에이전트에게 더 심각한 장벽임을 입증하며, 특히 좌표 기반 액션을 방해한다는 점을 보여준다.
2. 커서 피드백의 평가: 시각적 피드백(제안된 좌표가 어디에 위치하는지 보여주는 것)이 왜곡된 뷰를 원래의 좌표로 매핑하는 데 큰 도움을 줄 수 있음을 입증했으나, 극한의 부패를 완전히 보상할 수는 없음을 밝혀냈다.
3. 에이전트의 도구 활용: 본 연구는 고급 에이전트(GPT-6-astra)가 극심한 불확실성 하에서 작업을 해결하기 위해 원시 시각적 인지에만 의존하는 대신, 워크스페이스 내에서 이미지 처리 도구(디노이징, 언-워핑)를 자율적으로 개발하고 활용할 수 있다는 실증적 증거를 제공한다.
4. 프로토콜 개선: "stuck protocol" 모호성을 식별하고 수정함으로써, 에이전트가 높은 불확실성에 직면했을 때 조기에 멈출 수 있음을 발견하였으며, 이는 강건한 에이전트 설계에서 관리되어야 할 요소임을 밝혔다.

의의 및 주장

본 논문은 환경 불가지론적 에이전트가 충분한 추론 능력과 도구 활용 능력을 갖춘 경우, 심하게 부패된 시각적 입력으로부터 복잡한 상호작용형 게임을 해결할 수 있음을 주장한다.

• 강건성: GPT-6-astra는 GPT-5.6-sol을 무력화시킨 조건에서도 높은 성능을 유지함으로써 시각적 추론 및 적응력의 질적 도약을 보여주었다.
• 성공 메커니즘: 저자는 성공적인 플레이가 능동적인 이미지 처리(보드 구조 복구)와 상당한 불확실성 하에서의 의사결정의 조합을 포함한다고 제안한다. 에이전트가 모든 회전된 이미지를 직접 해석하기보다, 도구를 통해 변환 변화(예: 회전)를 인식하고 보상하는 능력이 핵심적인 것으로 보인다.
• 한계: 저자는 공개된 ARC-AGI-3 게임에 대한 사전 노출이 높은 점수에 기여했을 수 있음을 겸허히 언급하며, 미지의 게임에 대한 성능 테스트가 남아있음을 명시했다. 또한, 특정 사례에서 극한의 노이즈 하에 성공했음에도 불구하고, 가장 높은 노이즈 수준($\sigma=1200$)에서는 전반적인 성능이 크게 하락하여 현재 시각적 강건성의 한계를 보여주었다.

본 연구는 기하학적 왜곡이 상당한 도전 과제이지만, 도구 활용 능력과 강건한 추론 능력을 갖춘 에이전트는 이러한 장벽을 극복하여 상호작용형 시각 환경에서 인간 수준의 성능에 도달할 수 있다고 결론짓는다.