기술 요약: Incognita를 이용한 사회적으로 분산된 작업 환경 내에서 행동이 접지된 생성형 에이전트 평가

문제 정의

사회적 환경에서의 효과적인 에이전시(agency)를 위해서는 에이전트가 언제 지식을 구할 것인지, 언제 행동할 것인지, 그리고 자신의 행동이 습득한 정보에 의해 정당화되는지를 결정할 수 있어야 한다. 기존의 평가 패러다임은 이러한 요구사항들을 분리하여 다루는 경우가 많다. 즉, 접지된 벤치마크(예: WebArena, AppWorld)는 실행 가능한 행동과 검증 가능한 결과를 제공하지만 풍부한 사회적 상호작나 결여되어 있으며, 사회적 시뮬레이션 환경(예: Sotopia)은 다중 에이전트 상호작용을 제공하지만 종종 접지되고 결과가 발생하는 상태 변화가 부족하다.

본 연구가 다루는 핵심 문제는 **사회적으로 분산된 작업 환경(socially distributed task environments)**에서의 생성형 에이전트 평가이다. 이러한 환경에서는 작업 관련 지식이 역할별로 격리된 참여자들(예: 고객, 반품 창구, 제품 카탈로그)에게 분할되어 있으며, 결과가 발생하는 행동은 이러한 특정 참여자들과의 상호작용을 통해서만 도달 가능하다. 현재의 에이전트들은 이러한 구조에서 어려움을 겪으며, 정보가 여러 턴에 걸쳐 점진적으로 드러나는 상황에서 명확화(clarification), 문맥 유지, 그리고 조기 종료(premature finalization) 측면에서 실패를 보인다.

방법론: Incognita 프레임워크

저자들은 사회적으로 분산된 작업 환경을 구현하기 위해 Concordia 서브스트레이트를 기반으로 구축된 환경 프레임워크인 Incognita를 소개한다. Incognita는 사회적 상호작용과 접지된 실행을 분리하여, 테스트 에이전트를 위한 부분 관측 마르코프 결정 과정(POMDP)을 생성한다.

1. 환경 아키텍처

• 역할 격리 상호작용: 테스트 에이전트는 직접적인 도구 접근 권한이 없다. 에이전트는 (정보 공개 게이트 뒤에 수요 측 지식을 보유한) USER와 (**역할 특화 지식을 보유하고 운영을 중재하는) 전문 엔티티(Specialist Entities)**에게 전달되는 유향 메시지를 통해 상호작용한다.
• 접지된 실행 계층: 전문 엔티티는 연산을 제안하며, 이는 정형화된 상태(canonical state) 위에서 결정론적인 서브 환경에 의해 검증 및 실행된다.
  • 읽기(Reads): 상태를 변경하지 않고 정보를 반환한다.
  • 쓰기(Writes): 상태를 변형하며, 이후에 평가될 결과를 생성한다.
• 오프라인 평가: 실험은 에이전트가 최종화 플래그($f_t=1$)를 설정할 때 종료된다. 그 후 오프라인 평가기가 상속된 작업 보상(예: $\tau$-bench로부터의 보상)에 따라 최종 상태를 점수화한다. 평가기는 실험 중에 에이전트를 가이드하거나 에이전트의 내부 신념 상태를 검사하지 않는다.

2. 이론적 프레임워크

본 프레임워크는 이 설정에 탐색-활용(exploration-exploitation) 패러다임을 적용한다:

• 탐색(Exploration): 커뮤니케이션은 역할별로 분할된 지식에 대한 탐색 기능을 수행한다. 에이전트는 사용자 의도, 가용 지식, 그리고 실행 가능한 연산에 관한 자신의 암묵적 신념 상태를 업데이트해야 한다.
• 활용(Exploitation): 접지된 행동은 에이전트의 신념 상태를 상태 변경 연산에 투입하는 활용 기능을 수행한다.
• 최종화(Finalization): 최종화 행동은 사용자의 목표가 충족되었다는 에이전트의 확언을 나타낸다. 조기 최종화는 에이전트의 신념과 정형화된 환경 상태 사이의 불일치를 나타낸다.

3. 실험 설정: Incognita-Retail

프레임워크를 검증하기 위해, 저자들은 $\tau$-bench retail 작업을 다중 엔티티 환경(Incognita-Retail)으로 변환하였다.

• 작업: 참조 솔루션에 의해 요구되는 서로 다른 전문 엔티티의 수(사회적 폭, social breadth)에 따라 계층화된 18개의 작업(범위 1~6).
• 모델: 세 가지 생성형 에이전트 모델(gpt-5.2, gpt-5.4, gpt-5.5)을 평가하였다.
• 실험 횟수: 총 540회의 실험 (18개 작업 $\times$ 10회 반복 $\times$ 3개 모델).
• 제약 조건: 테스트 에이전트는 명시적인 목표나 정책 힌트를 받지 않으며, 상호작용을 통해 작업 구조를 추론해야 한다.

주요 결과

1. 작업 성공률

접지된 작업 성공률은 강력한 모델에서도 여전히 낮게 나타나지만, 진전은 관찰된다:

• gpt-5.2: 모든 사회적 폭에서 0%의 성공률을 기록했다.
• gpt-5.4: 전체 8.9%의 성공률을 보였으며, 사회적 폭 3과 4에서만 성공했다.
• gpt-5.5: 전체 17.2%의 성공률을 보였으며, 모든 폭 수준에서 비제로(non-zero) 성공을 기록했으나, 폭 6 단계는 거의 해결되지 않은 상태로 남았다.

2. 행동 변화 및 실패 모드

연구 결과, 모델의 개선은 신뢰할 수 있는 작업 성공이 달성되기 전에도 행동적 변화로 나타남을 보여준다:

• 조기 종료(Premature Finalization): 조기 종료(필요한 행동을 수행하기 전에 완료를 주장하는 비율)가 크게 감소했다:
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• 탐색 및 활용 지표: 더 강력한 모델은 다음과 같은 특성을 보였다:
  • 높은 공개 범위(Disclosure Coverage) (잠겨 있던 사용자 필드의 노출 비율): 0.06 $\to$ 0.17 $\to$ 0.45.
  • 높은 쓰기 비율(Write Rates) (수락된 상태 변경 쓰기가 포함된 실험의 비율): 0 $\to$ 0.13 $\to$ 0.36.
  • 높은 엔티티 접촉 폭(Entity-Contact Breadth): 0.30 (gpt-5.2)에서 0.68 (gpt-5.4/5.5)로 증가했다.

3. 실패 구성

모델이 개선됨에 따라, 실패 모드는 즉각적인 종료에서 환경-신념(environment-belief), 목표-신념(goal-belief), 그리고 **실행 오류(execution errors)**를 포함하는 더 복잡한 오류로 전이되었다. 이는 더 강력한 에이전트가 의도된 상호작용 체제 내에서 더 많은 시간을 소비하지만, 여전히 신념 형성의 신뢰성과 행동 접지의 정확성 측면에서 어려움을 겪고 있음을 시사한다.

기여 및 의의

본 논문은 세 가지 주요 기여를 한다:

1. 정형화: 지식이 역할별로 격리된 참여자들에게 분할되어 있어 에이전트가 정보 비대칭을 헤쳐 나가야 하는 독특한 평가 설정으로서 사회적으로 분산된 작업 환경을 정형화하였다.
2. 프레임워크: 역할 격리 상호작용을 결정론적 상태 실행 및 오프라인 보상 검증과 결합하여, 신념 형성과 결과 검증을 분리하는 Incognita 프레임워크를 제시한다.
3. 경험적 분석: 모델의 발전이 낮은 최종 작업 보상에도 불구하고 프로세스 지표(지식 추출, 소스 선택, 접지된 행동 시도)를 통해 관찰될 수 있음을 보여주는 예비 분석을 제공한다.

의의:
저자들은 사회적으로 분산된 작업 환경이 신뢰할 수 있는 작업 성공 이전에 에이전트의 행동을 드러낸다고 주장한다. 단일한 접지된 환경 내에서 커뮤니케이션, 상태 변경 행동, 그리고 작업 완료 약속을 측정함으로써, Incognita는 개방형 대화의 질이나 최종 작업 성공만을 넘어 협력적 에이전시를 평가할 수 있는 경로를 제공한다. 연구 결과는 현재의 모델들이 지속적인 지식 추구와 광범위한 소스 선택을 시작하고 있으나, 신념 형성의 신뢰성과 최종화 타이밍 측면에서 여전히 상당한 격차가 존재함을 시사한다.