InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

"InfantAgent-Next: 자동화된 컴퓨터 상호작용을 위한 멀티모달 범용 에이전트" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

현재 컴퓨터 상호작용을 위한 자동화 AI 에이전트들은 범용성과 정확도 사이에서 근본적인 트레이드오프에 직면해 있습니다:

• 도구 기반 에이전트: (예: OpenHands, AutoGPT) 특정 작업의 정확도를 높이기 위해 사전 정의된 도구 (코드, 검색 등) 에 의존합니다. 그러나 새로운 시나리오마다 도구를 수동으로 통합해야 하므로 취약하고 범위가 제한적입니다. 도구 세트에 포함되지 않은 소프트웨어를 마주치면 종종 실패합니다.
• 순수 비전 에이전트: (예: UI-TARS, Aguvis) 도구를 사용하지 않고 시각 - 언어 모델 (vLLMs) 을 통해 GUI 를 직접 제어합니다. 매우 범용적이지만 고해상도 추론에는 어려움을 겪으며, UI 요소를 잘못 위치 파악하거나 (잘못된 좌표 클릭) 간단한 도구 호출로 충분할 파일 편집 및 코드 조작과 같은 정밀한 작업에서 실패하는 경우가 많습니다.
• 격차: 기존 솔루션들은 다양하고 비정형적인 작업을 처리할 유연성이 부족하거나, 복잡하고 도구가 많이 필요한 작업을 신뢰성 있게 실행할 정밀도가 부족합니다. 도구 기반 실행의 정밀함과 순수 비전 제어의 적응력을 통합하는 하이브리드 패러다임이 필요합니다.

2. 방법론: InfantAgent-Next 아키텍처

InfantAgent-Next 는 통합된 대화 컨텍스트 내에서 도구 기반 및 순수 비전 접근 방식을 통합하는 고도로 모듈화된 멀티모달 범용 에이전트를 도입합니다. 단일 모놀리식 모델에 의존하는 대신, 하위 작업을 각자의 강점에 따라 전문 모델로 라우팅합니다.

핵심 아키텍처

시스템은 각기 다른 모델이 구동할 수 있는 세 가지 고유한 역할로 구성된 반복적 루프에서 작동합니다:

1. Planner(계획자): 사용자 요청과 현재 상태를 분석하여 고수준 작업 계획을 수립합니다.
2. Tool Selector(도구 선택자): 선별된 라이브러리에서 가장 적합한 도구 세트 (예: 파일 편집, 웹 브라우징, 컴퓨터 사용) 를 동적으로 선택합니다.
3. Executor(실행자): 선택된 도구를 호출하고 환경으로부터 피드백을 수집합니다.

주요 기술 구성 요소:

• 모듈형 워크플로우 및 메모리: 에이전트는 통합된 대화 기록을 유지하지만, 특수 태그 (<thought>, <task>, <toolkit>, <execute_bash> 등) 를 사용하여 응답을 구문 분석합니다. 이를 통해 시스템이 현재 하위 작업 (계획 대 실행) 에 맞게 컨텍스트를 재구성하여 컨텍스트 창 과부하와 관련 없는 콘텐츠 생성을 방지합니다.
• 동적 도구 세트: 시스템은 도구를 7 가지 도구 세트 (파일 읽기, 검색, 편집, 웹 브라우징, 컴퓨터 사용, 코드 실행, 고급 도구) 로 분류합니다. 추론 비용과 LLM 의 인지 부하를 줄이기 위해 각 단계마다 관련 도구의 부분 집합을 동적으로 선택합니다.
• 멀티모달 통합: 에이전트는 텍스트, 이미지, 오디오, 비디오를 지원합니다. 오디오 분석은 전문 오디오 모델로, 시각적 그라운딩은 비전 모델로, 논리적 추론은 고급 LLM 으로 라우팅할 수 있습니다.

혁신적 개선 사항

이 논문은 최첨단 (SOTA) 에이전트들의 알려진 실패 지점을 해결하기 위한 구체적인 알고리즘을 도입합니다:

• 마우스 클릭용 반복적 영역 자르기 (알고리즘 1): 모델이 좌표를 잘못 식별하는 "시각적 그라운딩" 문제를 해결하기 위해:
  1. 에이전트가 전체 화면 스크린샷을 캡처합니다.
  2. 시각적 그라운딩 모델이 후보 좌표를 예측합니다.
  3. 시스템이 해당 좌표 주변의 더 작은 영역을 잘라냅니다.
  4. 이 과정을 $n$회 반복하여 검색 영역을 점진적으로 좁힙니다.
  5. 최종 정제된 좌표가 클릭에 사용됩니다. 이를 통해 관련 없는 픽셀의 간섭을 크게 줄입니다.
• 강건한 파일 편집 (알고리즘 2): 줄 번호 기반 파일 편집 오류를 처리하기 위해:
  1. 에이전트가 시작/종료 줄과 예상 콘텐츠를 포함한 계획을 생성합니다.
  2. 실제 파일 콘텐츠가 예상 경계와 일치하는지 확인합니다.
  3. 불일치가 발생하면 (예: 오프 - 바이 - 원 오류), 폴백 전략으로 전환합니다: 예상 콘텐츠 문자열을 퍼지 (fuzzify) 처리하여 파일 내에서 가장 일치하는 구간을 검색한 후 변경 사항을 적용하기 전에 편집 요청을 동적으로 업데이트합니다.

3. 주요 기여

1. InfantAgent-Next 프레임워크: 도구 기반 및 순수 비전 패러다임을 연결하고 텍스트, 이미지, 오디오, 비디오 입력을 지원하는 오픈소스 멀티모달 범용 에이전트.
2. 상세한 모듈화: 계획, 도구 선택, 실행을 분리하여 다양한 모델 (추론, 시각적 그라운딩, 오디오 분석) 이 통합된 컨텍스트 내에서 원활하게 협력할 수 있도록 하는 새로운 아키텍처.
3. 향상된 실행 메커니즘: 고정밀 GUI 상호작용을 위한 반복적 영역 자르기 도입과 신뢰할 수 있는 파일 편집을 위한 퍼지 매칭 폴백 도입으로 현재 에이전트의 주요 두 가지 실패 모드를 해결.
4. 오픈소스 도구 세트: 향후 연구를 지원하기 위해 최적화된 에이전트 도구 모음과 격리된 실행 환경 (VM 기반) 공개.

4. 실험 결과

에이전트는 비전, 논리, 일반 작업을 포괄하는 세 가지 주요 벤치마크에서 평가되었습니다:

• OSWorld (시각적 추론):
  • 지표: 369 개의 개방형 데스크톱 작업에 대한 정확도.
  • 결과: InfantAgent-Next 는 35.3% 정확도(50 단계) 를 달성하여 Claude-Computer-Use(26.0%) 보다 7.27% 높은 성능을 보였으며 Agent-S2 와 같은 다른 오픈소스 프레임워크를 능가했습니다. 자연어 지시를 GUI 요소에 그라운딩하는 데 있어 뛰어난 능력을 입증했습니다.
• SWE-Bench (논리적 추론 및 코드):
  • 지표: 실제 GitHub 이슈 해결.
  • 결과: SWE-Bench-Verified(50 건) 하위 집합에서 66% 정확도를 달성하여 Amazon Q Developer Agent(54%) 를 포함한 여러 폐쇄형 소스 에이전트를 능가했습니다. SWE-Bench-Lite에서는 31.67% 를 기록하여 최상위 오픈소스 에이전트 중 하나로 선정되었습니다.
• GAIA (일반 작업 수행):
  • 지표: 세 가지 난이도 수준의 개방형 질문.
  • 결과: InfantAgent-Next 는 오픈소스 에이전트 중 2 위(평균 56.97%) 를 기록하여 OWL 에 이어 2 위를 차지했으며, Level 2(중간) 난이도 질문에서 최첨단 성능을 달성했습니다.
• Ablation Study(절제 실험):
  • 반복적 영역 자르기 메커니즘은 3 번째 반복 시 정확도가 수렴하는 것으로 나타났으며, 2 번의 반복이 성능과 비용 사이의 최적 균형을 제공했습니다.
  • 파일 편집 로직은 SWE-Bench 작업에서 90.4% 의 전체 성공률을 달성하여 실패한 시도 중 84.3% 를 성공적으로 복구했습니다 (예: 오프 - 바이 - 원 줄 오류 수정).

5. 의의

InfantAgent-Next 는 범용 컴퓨터 에이전트 분야에서 중요한 진전을 의미합니다. "단일 모델이 모든 것을 수행"하거나 "경직된 도구 체인" 접근 방식에서 벗어나, 모듈형 다중 모델 아키텍처가 전문적 그라운딩 및 편집 로직을 통한 높은 실행 정밀도와 동적 도구 선택 및 멀티모달 이해를 통한 광범위한 적응력을 동시에 달성할 수 있음을 입증했습니다.

이 연구는 다음을 증명합니다:

1. 하이브리드화가 핵심: LLM 의 추론 능력과 전문 비전 및 도구 모듈의 정밀도를 결합하면 모놀리식 모델보다 우수한 성과를 냅니다.
2. 반복적 정교화가 작동함: 반복적 자르기 같은 간단한 알고리즘적 개선이 시각 에이전트를 괴롭히는 "환각된 좌표" 문제를 극적으로 해결할 수 있습니다.
3. 확장성: 이 프레임워크는 코드, 웹 브라우징, 파일 조작이 포함된 복잡하고 다단계 워크플로우를 처리할 만큼 견고하여 실제 세계 자동화 작업에 대한 실현 가능한 후보가 됩니다.

코드, 모델, 평가 스크립트의 오픈소스화는 커뮤니티가 멀티모달 에이전트 시스템을 더 발전시킬 수 있는 강력한 기반을 제공합니다.