🤖 AI

Set-shifting Behavioral Test for Harnessed Agents

이 논문은 LLM 에이전트가 도구 신뢰도의 숨겨진 변화에 어떻게 적응하는지 평가하기 위한 세트 시프팅(set-shifting) 행동 테스트를 도입하며, 에이전트들이 도구 세트가 어떻게 프레이밍되는지에 따라 더욱 영향을 받는 뚜렷한 실패 모드를 가진 특정 루틴에 경직되게 안주하는 경향이 있음을 밝혀낸다.

원저자: Ziwei Ye

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ziwei Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 집사에게 저녁 식사 요리법을 가르치고 있다고 상상해 보세요. 당신은 "스크램블 에그" 레시피가 열 개나 담긴 거대한 요리책을 건네줍니다. 처음에는 레시피 A가 완벽하게 작동합니다. 로봇은 그 과정을 익히고 단계를 암기하여 매번 맛있는 달걀 요리를 만들어냅니다. 하지만 당신이 로봇에게 알리지 않고 주방의 재료를 몰래 바꿔치기했습니다. 이제 레시피 A는 고무처럼 질기고 먹을 수 없는 엉망진창인 결과물을 만들어내지만, 레시피 B는 (겉모습과 소리가 레시피 A와 똑같음에도 불구하고) 마법처럼 완벽하게 작동합니다. 질문은 이것입니다. 로봇은 이 변화를 알아차릴까요? 고장 난 레시피를 버리고 새로운 것을 시도할까요, 아니면 자신이 실수하고 있는 것이라고 확신하며 고장 난 재료로 계속 요리를 하려고 고집을 피울까요?

이것이 바로 인공지계 분야의 과학자들이 해결하려고 노력 중인 종류의 퍼즐입니다. 그들은 AI 에이전트(계산기, 검색 엔진, 또는 코드 컴파일러와 같은 도구를 사용할 수 있는 똑똑한 컴퓨터 프로그램)가 변화를 어떻게 다루는지 연구하고 있습니다. 심리학에는 인간이 게임의 규칙이 은밀하게 바뀌었다는 것을 알아내야 하는 유명한 테스트인 '위스콘신 카드 분류 검사(Wisconsin Cardso-rting Test)'가 있습니다. 만약 당신이 카드를 색깔별로 분류하던 습관 때문에 규칙이 갑자기 모양별로 바뀌었음에도 계속 색깔별로 분류한다면, 이는 '지속증(perseveration)', 즉 틀에 박힌 습관에 갇히는 현상을 보여줍니다. AI 연구자들의 큰 질문은 이것입니다. 디지털 두뇌도 이런 틀에 갇힐까요? AI가 특정 도구에 익숙해지면, 그 도구가 조용히 고장 났을 때도 계속 사용하려 할까요, 아니면 눈앞에 있는 새로운 해결책을 찾아 적응할 수 있을까요?

논문의 이야기: 비밀스러운 도구 교체

이 논문에서 연구자들은 정확히 이 점을 테스트하기 위해 디지털 놀이터를 구축했습니다. 그들은 AI 에이전트에게 '하네스(harness)'—AI에게 문제를 해결하기 위한 도구 라이브러리를 제공하는 시스템을 뜻하는 멋진 단어—를 주었습니다. AI가 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 탐정에게는 세 팀의 정보원(A팀, B팀, C팀이라고 부릅시다)이 있습니다. 세 팀 모두 동일한 단서를 찾을 수 있다고 주장하며, 탐정에게는 모두 똑같이 보이고 똑같이 들립니다.

연구진은 반전이 있는 게임을 설정했습니다. 게임의 첫 부분에서는 A팀만이 진실을 말합니다. 탐정(AI)은 빠르게 A팀을 신뢰하게 되고 다른 팀의 말은 듣지 않게 됩니다. 그 후, 연구진은 조용히 게임을 바꿉니다. A팀은 진실을 말하는 것을 멈추고 가짜 단서를 주기 시작하며, 대신 B팀이 신뢰할 수 있는 출처가 됩니다. 팀의 이름이나 설명은 변하지 않았습니다. 오직 신뢰도만 변했습니다. 연구진은 탐정이 이 변화를 알아차리고 B팀을 신뢰하기 시작할지, 아니면 가짜 단서 때문에 좌절하면서도 옛 습관을 버리지 못한 채 계속 A팀을 호출할지를 보고 싶었습니다.

결과: 고집쟁이와 전환자들

연구진은 "미모(Mimo)"와 "딥시크(DeepSeek)"라고 부를 두 가지 서로 다른 AI 모델을 테스트했습니다. 그 결과 두 모델 모두 정체되었지만, 정체되는 방식은 매우 달랐습니다.

딥시크 (조기 결심형): 이 모델은 첫날에 결정을 내리고 그것을 고수하는 탐정과 같았습니다. 만약 처음에 B팀을 신뢰하기 시작했다면, 규칙이 바뀐 후에도 가짜 단서를 무시하고 계속 B팀을 신뢰할 것입니다. 그러나 만약 그것이 내린 첫 번째 선택이 우연히도 새로운 신뢰할 수 있는 팀이었다면, 그것은 완벽하게 그 팀을 고수했을 것입니다. 나중에 연구진이 규칙을 바꾸더라도 상관없었습니다. 딥시크는 자신의 첫 번째 선택에 갇혀 있었습니다. 이는 '접두사 수준의 고착(prefix-level lock-in)', 즉 자신의 첫 번째 선택이 옳든 틀리든 전체 미래의 행동을 결정해 버리는 현상을 보여주었습니다.
미모 (최근 기록 중시형): 이 모델은 조금 더 유연했지만 여전히 문제가 있었습니다. 이 모델은 최근에 사용했던 도구들의 조합을 고수하는 경향이 있었습니다. 만약 A팀과 B팀을 함께 사용하고 있었다면, A팀이 고장 난 후에도 두 팀을 섞어서 계속 사용했습니다. 마땅히 해야 할 것처럼 새로운 팀(C팀)으로 쉽게 넘어가지 못했습니다. 이는 '셀 수준의 고착(cell-level lock-in)', 즉 변화 직전에 수행하던 특정 루틴에 갇히는 것을 의미합니다.

이 연구는 특별한 지침이 없다면 AI 에이전트들이 빠르게 습관을 형성한다는 것을 보여주었습니다. 일단 작동하는 도구를 찾으면 그것을 고수합니다. 도구가 조용히 고장 났을 때, 그들은 눈앞에 있는 다른 옵션들을 탐색하기보다는 반복적인 실패를 겪으면서도 계속 사용하려 합니다.

우리가 그들에게 변화를 가르칠 수 있을까?

연구진은 이어 다음과 같이 물었습니다. "이것을 고칠 수 있을까?" 그들은 AI의 적응을 돕기 위해 두 가지 방법을 시도했습니다.

'적응형' 지침: 그들은 딥시크에게 구체적인 규칙을 주었습니다. "만약 도구가 실패하면, 즉시 사용을 중단하고 다른 것을 시도하라." 이 방법은 딥시크에게 매우 잘 작동하여, 새로운 신뢰할 수 있는 팀으로 거의 즉시 전환하도록 도왔습니다. 그러나 이와 동일한 지침을 미모에게 적용했을 때, 실험 횟수가 너무 적어 결과가 불분명했습니다. 이것이 작동하지 않은 것인지, 아니면 판단할 데이터가 부족했던 것인지 확실히 말할 수 없습니다.
'폴리매스(박식가)' 지침: 그들은 또 다른 규칙을 시도했습니다. "가능한 한 다양한 도구를 사용하라. 지루해하지 마라." 이 규칙은 AI가 더 다양한 도구를 사용하게 만들었지만, 실제로 올바른 도구를 더 빨리 찾는 데는 도움이 되지 않았습니다. 그저 무작위적으로 행동할 뿐이었습니다.

도구를 설명하는 방식의 힘

마지막으로, 연구진은 도구에 대한 설명 방식에 대해 정말 흥식한 발견을 했습니다. 그들은 도구 그룹의 '프레이밍(framing)'을 바꾸었습니다.

한 버전에서는 팀들을 경쟁 관계(Competing)(같은 물건을 팔려고 노력하는 경쟁 상점들처럼)라고 설명했습니다.
다른 버전에서는 팀들을 상호 보완적(Complementary)(하나의 기계가 작동하는 데 필요한 서로 다른 부품들처럼)이라고 설명했습니다.

연구진은 도구들이 경쟁 관계로 설명되었을 때, AI가 상호 보완적인 버전보다 새로운 신뢰할 수 있는 팀으로 전환할 가능성이 전반적으로 더 높다는 것을 발견했습니다. 하지만 AI는 여전히 어려움을 겪었습니다. 경쟁 프레이밍을 사용하더라도 성공률은 여전히 상당히 낮았습니다(모델에 따라 약 10~26%). 이 개선이 AI를 완벽하게 만드는 마법의 해결책은 아니었지만, '경쟁'이라는 묘사가 '팀워크'라는 묘사보다 에이전트가 습관을 깨는 데 약간 더 도움이 된다는 일관된 경향을 보여주었습니다.

결론

이 논문은 AI 에이전트가 인간과 마찬가지로 습관에 갇힐 수 있음을 시사합니다. 그들은 규칙이 조용히 변할 때 이를 항상 알아차리지는 못합니다. 그들은 작동을 멈춘 상황에서도 아는 것에 매달리는 경향이 있습니다. 그러나 이 연구는 실패에 어떻게 반응해야 하는지에 대한 명확한 지침을 주거나, 도구를 설명하는 방식을 바꿈으로써 우리가 그들을 적응하도록 도울 수 있음을 보여줍니다. 이는 AI가 진정으로 똑똑해지기 위해서는, 좋은 탐정처럼 오래된 습관을 버리고 새로운 정보를 받아들일 수 있어야 한다는 점을 상기시켜 줍니다.

기술 요약: 하네스형 에이전트를 위한 세트 시프팅(Set-shifting) 행동 테스트

문제 정의

현대의 대규모 언어 모델(LLM) 에이전트는 이전의 도구 호출, 결과, 스킬 라이브러리를 포함한 지속적인 세션 컨텍스트를 유지하는 "에이전트 하네스(agentic harnesses)" 내에서 작동합니다. 이러한 환경에서 에이전트는 과업을 해결하기 위해 선호하는 도구의 부분 집합으로 수렴하는 경傾向이 있습니다. 도구의 이름, 설명, 스키마는 동일하게 유지되지만, 이러한 도구들의 신뢰성이 암묵적으로 변할 때(예: 백엔드 API의 변화) 심각한 취약점이 발생합니다.

본 논문은 명시적인 통지 없이 신뢰할 수 있는 도구 그룹이 궤적 중간에 바뀔 때, 하네스형 에이전트가 자신의 행동 경로를 적응할 수 있는지 조사합니다. 저자들은 인지 심리학에서 유래한 개념을 빌려, 이를 위스콘신 카드 분류 검사(WCST) 및 아인슈텔루스(Einstellung) 효과와 유사한 세트 시프팅(set-shifting) 문제로 프레임화하며, 에이전트가 학습된 규칙이나 도구 세트가 최적이 아니거나 고장 난 상황에서도 이를 고수하는 지속성(perseveration) 현상을 보일 수 있음을 지적합니다.

방법론

벤치마크 설계: WCST-Tool-Bench

저자들은 중복된 도구-스킬 세트를 기반으로 구축된 벤치마크를 도입합니다.

도구-스킬 구조: "도구"는 호출 가능한 함수이며, "도구 그룹"은 서로 다른 이름과 설명을 갖지만 동일한 스키마를 가진 기능적으로 동등한 도구들의 집합입니다. "스킬"은 특정 도구 그룹으로 에이전트를 연결하는 마크다운 절차입니다.
중복성: 동일한 과업을 위해 여러 도구 그룹이 존재하며, 이들은 오직 숨겨진 신뢰성 측면에서만 다릅니다. 에이전트에게 제시되는 인터페이스(이름, 설명, 스키마)는 변화 전후로 불변합니다.
도메인: 세 가지 도메인이 구현되었습니다:
1. 스케줄링/조정(Scheduling/Coordination): 경쟁 관계에 있는 슬롯 제공자로 제시되는 그룹들.
2. DevOps 장애 대응(DevOps Incident Triage): 상호 보완적인 관측 스택으로 제시되는 그룹들.
3. 멀티 클라우드 스토리지(Multi-cloud Storage): 경쟁 관계에 있는 스토리지 제공자로 제시되는 그룹들.
세트 프레이밍(Set Framing): 도구 그룹 간의 관계는 설명을 통해 경쟁적(competing, 대안적) 관계 또는 보완적(complementary, 전체의 일부) 관계로 조작됩니다.

실험 설정

환경: 지속적인 세션 컨텍스트를 가진 오픈 소스 Hermes 에이전트 하네스.
모델: 두 가지 오픈 웨이트 모델: mimo-v2.5 (Xiaomi) 및 deepseek-v4-pro (DeepSeek).
스케줄: $M$ $M$ 개의 도구 그룹과 $K$ $K$ 개의 분기 레이어를 가진 분기 트리 구조.
- 시프트(Shifts): 미리 정해진 경계에서 신뢰할 수 있는 도구 그룹이 조용히 변경됩니다.
- 대조군(Controls): 모든 시프트는 이전 그룹이 계속 신뢰할 수 있는 상태를 유지하는 "노-시프트(no-shift)" 대조군과 쌍을 이룹니다.
- 궤적(Trajectories): 경로는 역전(이전에 사용했던 그룹으로 복귀), 새로운 시프트(사용해 본 적 없는 그룹으로의 이동), 노-시프트 대조군을 포함합니다.
피드백: 결정론적 검증기(deterministic verifier)가 진단 메시지 없이 이진 피드백(성공 페이로드 vs 실패 지표)을 제공하여, 에이전트가 오직 결과만을 통해 신뢰성을 추론하도록 강제합니다.

평가 지표

세트 시프팅 정확도 ( $\Phi$ ): 궤적을 따라 모든 포스트-시프트 윈도우에서 에이전트가 올바른 타겟 도구 그룹으로 경로를 지정할 결합 확률.
경로 클래스(Route Classes): 호출된 도구 그룹의 혼합에 따라 분류된 궤적:
- $R_1$ : 타겟 전용.
- $R_2$ : 타겟 + 다른 하나.
- $R_3$ : 타겟 + 나머지 둘 모두.
- $R^*$ : 타겟 없음.
과업 완료율 ( $F$ ): 에이전트가 적어도 하나의 신뢰할 수 있는 도구를 사용하여 과업을 성공적으로 완료한 턴의 비율.

주요 기여

벤치마크: 숨겨진 신뢰성 변화와 쌍을 이룬 노-시프트 대조군을 사용하는 중복 도구-스킬 세트를 이용한 하네스형 에이전트의 종단적 평가 프레임워크.
기술적 프레임워크: 포스트-시프트 행동을 작은 집합의 이산적인 루틴(끌개 상태, attractor states)에 대한 재귀로 특징짓는 기술적 프레임워크.
개입 사례 연구: 두 가지 개입 채널에 대한 분석:
- 지시적(Instructional): 정책 프롬프트 (예: "적응형(adaptive)" vs "폴리매스(polymath)" 페르소나).
- 구조적(Structural): 세트 프레이밍 (경쟁적 vs 보완적 설명).

결과 및 분석

1. 사전 사용 역할 및 몰입 패턴 (RQ1)

에이전트는 균일하게 적응하지 않습니다. 그들의 행동은 타겟의 사전 사용 역할(역전, 강화, 또는 신규)에 따라 달라집니다.

이산적 루틴: 포스트-시프트 행동은 빠르게 작은 집합의 이산적 루틴으로 고착됩니다. 호출 점유율은 특정 값(예: 1.0, 0.5, 0.33, 0)에 집중됩니다.
모델 차이:
- mimo-v2.5: **셀 레벨 록인(cell-level lock-in)**을 보입니다. 몇 턴 내에 안정적인 중간 범위의 루틴(종종 이전에 사용했던 그룹들의 혼합)에 안착합니다. 이 모델의 행동은 타겟의 사전 사용 여부에 민감합니다(예: 한 번도 본 적 없는 "신규" 타겟에 대해 가장 어려움을 겪음).
- deepseek-v4-pro: **프리픽스 레벨 록인(prefix-level lock-in)**을 보입니다. 궤적 초기에 선택된 경로가 해당 세그먼트 전체의 행동을 예측합니다. 이 모델은 극단적인 상태( $s \approx 1$ 또는 $s \approx 0$ )로 양분되는 경향이 있으며, 타겟의 사전 역할과 관계없이 초기 선택에 대해 높은 분산과 강한 지속성을 보입니다.

2. 깊이 및 경로 의존성 (RQ2)

깊이: 더 깊은 시프트(Tier-2)는 일반적으로 두 모델 모두에서 정확도( $\Phi$ )를 감소시킵니다. 그러나 deepseek은 초기 몰입이 레이어를 관통하여 지속되기 때문에 정확도 저하가 덜한 반면, mimo는 최근 이력을 업데이트하는 데 어려움을 겪으면서 정확도가 크게 떨어집니다.
경로: mimo의 경우, 타겟에 도달하기 위해 거친 경로가 중요합니다(최근 이력이 성능을 결정함). deepseek의 경우, 초기 몰입이 이루어진 후에는 경로가 덜 중요하며, 프리픽스 레벨 록인이 경로의 변동을 압도합니다.

3. 정책 프롬프트 (RQ3)

적응형 프롬프트: 에이전트에게 "성공을 추적하고 실패 시 즉시 전환하라"고 지시하면 deepseek의 바이모달(bimodal) 록인을 성공적으로 억제하여, 높은 세트 시프팅 정확도( $\Phi \ge 0.86$ )를 달성하고 분산을 줄일 수 있습니다. 다만, 적은 샘플 내에서 mimo의 행동을 신뢰성 있게 변화시키지는 못했습니다.
폴리매스 프롬프트: 에이전트에게 "선택을 다양화하고 고착을 피하라"고 지시하면 도구 다양성은 증가하지만, 일관된 올바른 경로 지정으로 이어지지는 않았으며 때때로 가중치가 낮은 루틴을 초래했습니다.

4. 세트 프레이밍 (RQ4)

구조적 개입: 프레이밍을 보완적(그룹을 전체의 일부로 간주)에서 경쟁적(그룹을 대안으로 간서)으로 변경하면 라우팅 역학이 크게 변화합니다.
효과: 경쟁적 프레이밍은 보완적 프레이밍에 비해 두 모델과 도메인 모두에서 세트 시프팅 정확도( $\Phi$ $Φ$ )를 일관되게 향상시켰습니다.
- 보완적: 에이전트들이 "혼합 루틴"(모든 그룹에서 하나의 도구를 호출함)에 빠지는 경향이 있어 낮은 정확도를 보였습니다.
- 경쟁적: 에이전트들이 단일 신뢰 제공자에 몰입할 가능성이 높아졌으며, 이는 양극화된 분포(높거나 낮은 정확도)를 보였으나 높은 정확도를 가질 확률이 더 높았습니다.

의의 및 주장

본 논문은 단일 턴 도구 선택을 넘어 동적인 환경에서의 종단적 적응을 평가하는 새로운 패러다임을 구축한다고 주장합니다.

실패 모드: 연구는 에이전트가 단순히 "실패"하는 것이 아니라, **안정적이고 반복되는 루틴(끌개)**에 안착한다는 점을 식별합니다. 이러한 루틴은 안정적인 환경에서는 효율적이지만, 변화하는 환경에서는 경직될 수 있습니다.
컨텍스트 의존성: 결과는 인지 심리학의 발견을 반영합니다. 즉, 에이전트는 "지속성(perseveration)"이 안정적인 설정에서는 효율적이지만 변화하는 설정에서는 비용이 많이 드는 컨텍스트 의존성을 물려받습니다.
개입 효능: 논문은 지시적(정책 프롬프트) 및 구조적(세트 프레이밍) 개입 모두가 이러한 록인 패턴을 변화시킬 수 있음을 보여줍니다. 특히, 도구를 보완적인 것이 아닌 경쟁적인 것으로 프레이킹하는 것이 혼합 루틴에 의한 노력 분산을 방지하고 단일 신뢰 출처에 몰입하도록 유도할 수 있습니다.
겸허함: 저자들은 두 개의 오픈 웨이트 모델만 사용했다는 점과 "프레이밍"에 대한 정량적 지표가 부족하다는 점을 포함한 한계를 인정합니다. 또한 이러한 행동이 "실패"인지 "특징"인지는 특정 과업 요구사항(결정적 워크플로우 vs 탐색적 워크플로우)에 따라 달라질 수 있다고 언급합니다.

이 연구는 현재의 에이전트 하네스가 의도치 않게 경직성을 조장할 수 있으며, 도구 세트의 제시 방식(프레이밍)이나 명시적인 정책 지시를 설계하는 것이 숨겨진 환경 변화에 대한 에이전트의 적응 능력을 크게 변화시킬 수 있음을 시사합니다.