Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

1. 문제 제기 (Problem)

기존의 LLM 기반 에이전트 (Agent) 는 환경에서 관찰된 정보를 추론 과정에 통합하여, 예상치 못하지만 매우 중요한 정보를 발견했을 때 이를 활용하여 작업을 해결할 것으로 가정되어 왔습니다. 그러나 본 논문은 현재의 LLM 기반 에이전트들이 환경적 호기심 (Environmental Curiosity) 이 부족하여, 예상치 못한 정보를 발견하더라도 이를 반영하거나 전략을 수정하지 않고 무시한다는 사실을 지적합니다.

• 핵심 문제: 에이전트가 환경에서 '발견 (Discovery)'은 하지만, 그 정보를 '활용 (Interaction/Exploitation)'하지 못하는 **발견 - 활용 간극 (Discovery-Interaction Gap)**이 존재합니다.
• 가정: 에이전트는 환경의 자극에 반응하여 예상치 못한 관련 정보를 인식하고 조사할 수 있어야 하지만, 현재 모델들은 학습된 고정된 패턴을 따르며 환경에서 얻은 새로운 단서를 무시하는 경향이 있습니다.

2. 방법론 (Methodology)

저자들은 이 간극을 정량화하기 위해 **솔루션 주입 (Solution Injection)**이라는 새로운 평가 방법을 제안했습니다.

• 솔루션 주입 (Solution Injection):

  • 에이전트가 수행해야 할 작업의 정답 (Gold Solution) 을 에이전트의 환경 (파일 시스템 또는 API) 에 직접 주입합니다.
  • 주입된 솔루션은 에이전트가 일반적인 탐색 행동을 통해 발견할 수 있도록 설계되었습니다 (예: solution.sh 파일, cli solution 명령어 등).
  • 이는 에이전트가 "예상치 못하지만 매우 관련성 높은 정보"를 발견했을 때 이를 어떻게 반응하는지 측정하기 위함입니다.

• 평가 지표 (Metrics):
  기존 작업 성공률 (pass@k) 외에 두 가지 새로운 지표를 도입했습니다:

  1. Discovery@k: $k$번의 시도 중 에이전트가 주입된 솔루션을 환경에서 발견할 확률.
  2. Interaction@k: $k$번의 시도 중 에이전트가 발견한 솔루션을 실제로 읽거나 실행하는 등 상호작용할 확률.
  • Environmental Curiosity는 Interaction@k로 정의됩니다.

• 실험 환경:

  • 벤치마크: Terminal-Bench, SWE-Bench Verified, AppWorld (코드 및 비코드 도메인 포함).
  • 모델: gpt-oss-120b, GLM-4.7, Command-a-reasoning (및 파인튜닝 변형).
  • 에이전트 구조: Terminus, SWE-agent 등 다양한 에이전트 프레임워크 사용.

3. 주요 기여 (Key Contributions)

1. 환경적 호기심 (Environmental Curiosity) 의 정의 및 벤치마킹: 현대 LLM 이 예상치 못한 관련 정보를 활용하는 능력의 부재를 체계적으로 정의하고 측정했습니다.
2. 솔루션 주입 (Solution Injection) 방법론 도입: 에이전트 벤치마크를 환경적 호기심을 평가할 수 있도록 적응시키는 새로운 방법과 지표를 제안했습니다.
3. 인자 분석 (Factor Analysis): 추론 시간 (Test-time) 의 설계 결정 (도구 가용성, 계산 예산, 프롬프트) 과 학습 데이터 분포가 호기심에 미치는 영향을 규명했습니다.
4. 학습 데이터의 영향 발견: 좁은 도메인 (Narrow in-distribution) 에 대한 파인튜닝이 환경적 호기심과 해결 경로의 다양성을 감소시켜, 오히려 벤치마크 성능의 확장성 (pass@k scaling) 을 저하시킨다는 것을 발견했습니다.

4. 실험 결과 (Results)

• 발견과 활용의 간극:

  • 모든 벤치마크와 모델에서 에이전트는 주입된 솔루션을 높은 확률로 발견했습니다 (예: AppWorld 에서 97.54% 발견).
  • 그러나 상호작용 (활용) 비율은 극히 낮았습니다 (예: AppWorld 에서 0.53% 만 호출).
  • Terminal-Bench: 발견 79-81% vs 상호작용 37-50%.
  • AppWorld: 발견 >90% vs 상호작용 <7%.

• 추론 시간 (Test-time) 요인의 영향:

  • 도구 가용성: bash만 사용할 때보다 str_replace_editor 같은 편집 도구가 추가되면 작업 성공률은 높아지지만, 환경적 호기심 (상호작용률) 은 오히려 감소했습니다. 에이전트가 도구의 패턴에 의존하여 환경을 직접 조사하는 것을 건너뛰기 때문입니다.
  • 계산 예산 (Reasoning Budget): 추론 단계를 늘리면 (High Reasoning) 상호작용률이 크게 향상되었습니다 (Terminal-Bench 에서 11% → 37% 증가).
  • 프롬프트: "환경을 탐색하라", "발견된 모든 파일을 조사하라"는 명시적 지시는 상호작용률과 작업 성공률을 동시에 높였습니다.

• 학습 데이터 분포의 영향:

  • 좁은 도메인 파인튜닝 (Narrow SFT): 특정 도메인 (예: AppWorld 만 학습) 에 파인튜닝된 모델은 해당 도메인에서 1 회 시도 성공률 (pass@1) 은 높일 수 있으나, 다양한 시도 (pass@10) 에서는 성능이 떨어지고 환경적 호기심도 감소했습니다.
  • 광범위한 학습: 더 넓은 분포로 학습된 모델이 다양한 시도에서 더 나은 성능을 보이며, 환경적 호기심도 더 높았습니다.

• LLM-as-a-Judge 분석:

  • 에이전트가 솔루션을 발견했음에도 무시하는 경우, 대부분 **"인식하지 못함 (No acknowledgment)"**이나 **"조사 없이 인정만 함"**이었습니다.
  • 솔루션이 함정 (Trap) 이라고 의심하여 의도적으로 무시하는 경우는 거의 없었습니다. 즉, 에이전트는 정보가 존재한다는 사실을 인식조차 하지 못하거나, 인식해도 기존 계획에서 제외하는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현재 에이전트의 한계: 현재 LLM 에이전트는 환경을 "예상된 정보를 가져오는 도구"로만 사용하며, "전략을 수정하거나 새로운 기회를 포착하는 공간"으로는 사용하지 못합니다. 이는 Open-loop(개루프) 시퀀스 생성기와 유사하게 동작함을 의미합니다.
• 성능과 호기심의 상관관계: 환경적 호기심을 극대화하는 설정 (예: 탐색 지시, 적절한 도구 구성) 은 오히려 원본 벤치마크의 작업 성공률도 향상시켰습니다. 이는 에이전트가 환경에 적응하는 능력이 전반적인 성능 향상과 직결됨을 시사합니다.
• 미래 방향:
  1. 단순한 작업 성공률 (pass@k) 이 아닌, **과정 중심의 지표 (Interaction@k 등)**를 도입해야 함.
  2. 에이전트가 관찰을 통해 계획을 수정하도록 하는 반성적 (Reflective) 학습 패러다임 개발 필요.
  3. 좁은 도메인 학습이 에이전트의 적응 능력을 저해할 수 있으므로, 다양한 환경 학습의 중요성 재확인.

결론적으로, 이 논문은 LLM 기반 에이전트가 단순히 지시된 작업을 수행하는 것을 넘어, 예상치 못한 환경적 단서를 발견하고 이를 활용하는 '환경적 호기심'이 결여되어 있음을 증명하며, 이를 해결하기 위한 새로운 평가 기준과 학습 방향을 제시합니다.