기술 요약: 에이전트는 자신이 무엇을 할 수 없는지 알고 있는가?

문제 제기

외부 API 및 환경과 상호작용하기 위해 대규모 언어 모델 (LLM) 을 활용하는 도구 사용 에이전트는 긴 추론 체인과 반복적인 도구 사용으로 인해 상당한 계산 비용을 incurred 합니다. 실제 배포 시나리오에서는 특정 작업의 성공적 완성에 필요한 기능이 현재 도구 및 환경 제약 하에서 사용할 수 없기 때문에 많은 작업이 불가능 (infeasible) 해집니다.

현재 에이전트 벤치마크 및 평가 패러다임은 대부분 주어진 환경 내에서 작업이 해결 가능하다고 가정합니다. 이러한 평가는 주로 지속적인 실행과 최종 작업 성공에 보상을 부여하며, 작업 완성이 불가능해진 후에도 에이전트가 추론을 계속하고 도구를 호출하는 '취약한 행동 (brittle behaviors)'을 간과하는 경향이 있습니다. 이로 인해 심각한 토큰 낭비와 불필요한 상호작용 비용이 발생합니다. 또한, 평가용 진정으로 불가능한 작업을 구성하는 것은 어렵습니다. 기존 방법들은 노동 집약적인 인간 주석이나 중요한 기능을 제거하지 못할 수도 있는 교란 전략에 크게 의존하며, 이는 에이전트가 대체 전략을 통해 작업을 해결할 가능성을 남깁니다.

방법론: FeasiGen

저자들은 불가능한 에이전트 작업을 구성하고 에이전트의 이를 인식하는 능력을 평가하기 위해 고안된 자동 파이프라인인 FeasiGen을 제안합니다. 이 프레임워크는 세 단계로 운영됩니다:

1. 데이터 수집: 각 작업이 고정되고 미리 정의된 사용 가능한 도구 풀과 연관된 폐쇄형 도구 세트 (closed tool set) 위에서 작동하는 기존 에이전트 데이터셋 (BFCL, StableToolBench, API-Bank, $\tau$-bench) 에서 작업을 수집합니다.
2. 중요 도구 식별: 시스템은 원래 해결 가능한 작업에 대해 여러 에이전트 시스템을 실행합니다. 성공적인 도구 호출 추적을 수집하고, 다양한 성공적인 실행 전략 전반에 걸쳐 공유되는 도구의 교집합을 중요 도구 (critical tools) 로 식별합니다. 근본적인 가설은 서로 다른 성공적인 궤적 전반에 걸쳐 일관되게 요구되는 도구들이 필수적인 실행 의존성을 나타낸다는 것입니다.
3. 불가능 작업 생성: 식별된 중요 도구를 후보 도구 풀에서 마스킹 (제거) 합니다. 이는 원래 해결 가능했던 작업을 제약된 환경 하에서 불가능한 작업으로 변환합니다.

평가 프로토콜:
이 논문은 표준 작업 성공률 beyond 를 넘어선 가능성 인식 평가 지표 (feasibility-aware evaluation metrics) 를 도입합니다:

• 거짓 계속율 (False Continue Rate, FCR): 에이전트가 누락된 기능을 감지하지 못하고 중단 대신 실행을 계속하는 불가능한 작업의 비율을 측정합니다.
• 조기 중단까지의 토큰 비용 ($TC_{early-stop}$) 대 작업 실패까지의 토큰 비용 ($TC_{task-failure}$): 조기 종료로 절약된 토큰 대비 실패한 실행에 낭비된 토큰을 측정하여 효율성 트레이드오프를 정량화합니다.
• 가능성 인식 성공 점수 (Feasibility-Aware Success Score, FASS): 올바른 가능성 감지와 가능한 작업에서의 성공적인 작업 완성을 결합한 통합 지표입니다.

통계적으로 타당한 부분집합 (95% 신뢰도, 5% 오차 한계) 에 대한 인간 검증을 통해 구성된 인스턴스의 94.7% 가 진정으로 불가능한 것으로 확인되었습니다.

주요 결과

실험은 단일 에이전트 및 다중 에이전트 (플래너 - 실행기) 아키텍처 하에서 9 개의 현대 모델 (GPT-5.5, DeepSeek-V4, Qwen3.5, Llama3.1 계열 포함) 을 대상으로 수행되었습니다.

• 약한 불가능성 감지: 현재 에이전트 시스템은 불가능한 작업을 감지하는 능력이 현저히 약합니다. 거짓 계속율 (FCR) 은 최상위 성능의 GPT-5.5 의 23.5% 에서 Qwen3.5-9B 의 73.9% 까지 다양합니다. 이는 에이전트가 종종 불가능한 작업을 시도하며 자원을 낭비함을 나타냅니다.
• 효율성 영향: 불가능성을 감지하지 못하는 것은 비용이 큽니다. 실패한 실행의 토큰 비용 ($TC_{task-failure}$) 은 모델 전반에 걸쳐 조기 중단 비용 ($TC_{early-stop}$) 보다 2.3 배에서 5.0 배 높습니다.
• 다중 에이전트 개선: 다중 에이전트 아키텍처는 불가능성 감지를 크게 향상시킵니다. 실행 전에 작업을 분해하고 필요한 기능을 식별하는 플래닝 단계를 도입함으로써 평균 FCR 은 54.6% (단일 에이전트) 에서 17.5% 로 감소합니다. 최상위 다중 에이전트 쌍 (Qwen-122B $\to$ GPT-OSS) 은 2.6% 의 FCR 을 달성했습니다.
• 추론 모드: 추론 모드를 활성화하면 일반적으로 감지가 향상되고 조기 중단을 위한 토큰 소비가 감소하지만, 그 효과는 모델 크기와 계열에 따라 다릅니다.
• 확장 이상: 가능성 인식은 모델 크기와 균일하게 확장되지 않습니다. Qwen3.5 모델은 파라미터가 커질수록 감지가 개선되는 반면, Llama3.1 모델은 저하됩니다 (70B 에서 405B 로 증가하며 FCR 이 29.3% 상승). 이는 파라미터 수 자체보다 학습 선택 사항과 정렬 목표 (예: 거절보다 참여를 보상하는 것) 가 이 능력에 더 큰 영향을 미친다는 것을 시사합니다.
• 벤치마크 오염: 연구는 에이전트가 도구를 호출하지 않고 불가능한 작업에 대한 올바른 답변을 생성하는 '거짓 양성 (false positives)'을 관찰했습니다. 수동 분석은 이러한 사례의 91% 가 작업 출력을 직접 생성한 것으로, 도구 사용 가능성에 대한 진정한 추론이 아니라 사전 학습 코퍼스에서 작업 출력을 암기한 것 (벤치마크 오염) 일 가능성이 높음을 시사했습니다.

중요성 및 기여

이 논문은 다음과 같은 기여를 주장합니다:

1. FeasiGen 파이프라인: 중요한 실행 의존성을 식별하고 마스킹하여 불가능한 에이전트 작업을 구성하는 최초의 자동 프레임워크로, 인간 검증에서 94% 이상의 정확도를 달성했습니다.
2. 가능성 인식 평가: 작업 성공에만 초점을 맞춘 현재 평가 패러다임의 공백을 해소하고, 에이전트의 제약 인식 및 실행 종료 능력을 명시적으로 측정하는 지표 (FCR, 토큰 비용 비율) 를 도입했습니다.
3. 제한에 대한 경험적 증거: 포괄적인 평가는 최상위 성능을 보이는 에이전트조차 불가능한 조건을 인식하는 데 어려움을 겪으며, 이로 인해 상당한 자원 낭비가 발생함을 드러냈습니다.
4. 아키텍처 통찰: 다중 에이전트 분해 (특히 플래닝 단계) 가 가능성 감지 향상을 위한 지배적인 요소라는 발견은 더 효율적이고 견고한 에이전트 시스템으로 가는 실용적인 경로를 제시합니다.

저자들은 실제 시나리오에서 견고한 에이전트 행동을 평가하는 데 작업 성공만으로는 부족하다고 결론지었습니다. 그들은 기존 벤치마크가 암기와 제약 인식 부재로 인해 실제 에이전트 능력을 과대평가할 수 있음을 강조하며, 커뮤니티가 표준 평가 프로토콜에 가능성 감지를 포함할 것을 촉구합니다.