🤖 AI

Just A Rather Very Intelligent Spoken Agent

이 논문은 실시간 사용자 상호작용, 작업 투명성, 그리고 추적 기반 응답 및 선제적 가이드를 통한 전반적인 성능 향상을 통해 롱 호라이즌(long-horizon) AI 에이전트 워크플로우를 강화하는 상시 작동형 음성 중재자의 효과를 평가하기 위해 설계된 새로운 벤치마크이자 모듈형 프로토타입인 JarvisBench를 소개한다.

원저자: Chen Chen, Zhehuai Chen

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Chen Chen, Zhehuai Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI 시대의 사라진 중간 관리자

당신이 복잡한 나무 집(treehouse)을 지어달라고 아주 똑똑하고 빠른 인턴을 고용했다고 상상해 보세요. 당신은 설계도를 건네며 "한번 해봐!"라고 말합니다. 그러고 나서 당신은 자리를 뜹니다. 몇 시간 동안, 당신에게는 가끔 들리는 망치질 소리나 나무 톱질 소리 외에는 아무것도 들리지 않습니다. 당신은 그 인턴이 나무 집을 제대로 짓고 있는지, 아니면 썩은 가지를 건드린 것인지, 혹은 사다리 대신 미끄럼틀을 만들기로 결심한 것인지 알 길이 없습니다. 흐름을 방해하지 않고 슬쩍 가서 훔쳐볼 수도 없으며, 질문을 하기 위해 작업이 끝날 때까지 기다렸을 때는 이미 전체 구조가 위험하게 기울어져 버린 뒤일지도 모릅니다. 이것이 현재 많은 고급 AI 에이전트들이 처한 상황입니다. 이들은 매우 유능한 "노동자"이지만, 긴 시간 동안 침묵 속에서 홀로 작동하며 인간 상사를 막막하게 만듭니다.

이 논문은 인공지능(AI), 특히 AI 에이전트에 초점을 맞추고 있습니다. AI 에이전트를 단순히 한 가지 질문에 답하는 챗봇이 아니라, 계획을 세우고, 도구(웹 브래우저나 코드 에디터 등)를 사용하며, 장기간에 걸쳐 다단계 문제를 해결할 수 있는 디지털 직원이라고 생각하세요. 여기서 핵심 개념은 "장기적 관점(long-horizon)"의 과업입니다. 즉, 시간이 걸리고, 많은 단계가 필요하며, 미묘한 방식으로 잘못될 수 있는 업무를 의미합니다. 이 논문은 우리의 AI 노동자들이 점점 더 똑똑해지고 있지만, 우리가 그들과 소통하는 방식은 과거에 머물러 있다고 주장합니다. 우리는 단순한 명령 전달 방식이 아니라, 흐름을 끊지 않으면서도 실시간으로 연결되어 질문을 던지고 작업자를 가이드할 수 있는 새로운 종류의 인터페이스를 필요로 합니다.

자비스를 만나다: 언제나 깨어 있는 속삭임

이 논문의 저자인 NVIDIA의 Chen과 Chen은 이러한 "루프 밖의 문제(out of the loop problem)"에 대한 해결책을 제시합니다. 그들은 JarvisBench라고 불리는 개념을 도입했는데, 이는 새로운 유형의 AI 조력자를 위한 테스트 환경과 같습니다. 이 조력자를 당신(사용자)과 열심히 일하는 AI 에이전트 사이에 앉아 있는 "중재자" 또는 "중간 관리자"라고 생각하세요.

영화 아이언맨에서 캐릭터 J.A.R.V.I.S.는 저자들이 만들고자 하는 것의 완벽한 예시입니다. 그는 단순히 토니 스타크가 질문하기를 기다리는 것이 아니라, 토니가 무엇을 하는지 듣고 관찰하며, 즉각적으로 질문에 답하고, 심지어 토니가 실수를 하려 할 때 먼저 말을 겁니다. 논문은 현재의 AI 에이전트들에게 이러한 "자비스" 층이 부족하다고 주장합니다. 보통은 명령을 내리면 AI가 침묵 속에서 작업하고, 문제가 생겼을 때만 텍ert 형태의 업데이트를 받게 됩니다. 저자들은 이것이 너무 빈약한 연결이라고 말합니다. 그들은 항상 켜져 있고(always-on), 음성 상호작용이 가능하며, 진행 상황을 설명할 준비가 되어 있고, 작업자가 막혔을 때 인간에게 빠른 도움을 요청할 수 있는 에이전트를 원합니다.

이 아이디어가 효과가 있다는 것을 증명하기 위해, 팀은 프로토타입 시스템과 이를 테스트하기 위한 규칙 세트를 구축했는데, 이를 JarvisBench라고 부릅니다. 그들은 단 하나의 특정 로봇을 만든 것이 아니라, 서로 어떻게 잘 작동하는지 확인할 수 있도록 다양한 "두뇌(AI 모델)"와 다양한 "노동자(worker)"를 끼워 넣을 수 있는 유연한 프레임워크를 만들었습니다.

두 갈래의 테스트: 작업에 도움이 되는가? 인간에게 도움이 되는가?

연구진은 이 "자비스" 아이디어가 실제로 차이를 만드는지 확인하기 위해 두 부분으로 구성된 챌린지를 설정했습니다.

트랙 1: 노동자의 가장 친한 친구 (에이전트 협업)
이 트랙의 목표는 자비스 중재자가 AI 노동자가 실제로 업무를 더 잘 완수하도록 돕는지 확인하는 것입니다. AI 노동자가 복잡한 퍼즐을 풀거나 코드를 작성하고 있다고 상상해 보세요. 자비스가 없다면, 노동자는 실수 루프에 빠지거나 잘못된 길로 들어선 뒤 너무 늦기 전까지는 이를 깨닫지 못할 수 있습니다. 자비스가 있다면, 중재자가 노동자의 모든 움직임을 지켜봅니다. 만약 노동자가 같은 실수를 두 번 반복하거나 혼란스러워 보이면, 자비스는 동작을 일시 중단(또는 일시 중단을 시뮬레이션)하고 인간 전문가에게 짧은 팁을 요청합니다. 그런 다음 그 팁을 다시 노동자에게 전달합니다.

테스트 결과는 유망했습니다. 연구진은 다양한 AI 노동자를 사용하여 34가지의 장기 과업(정보 검색, 파일 정리, 코드 작성 등)을 실행했습니다. 자비스 중재자를 추가했을 때, 노동자들의 과업 완수 능력이 향상되었습니다. 예를 들어, "Claude Opus 4.7"이라는 두뇌를 사용하는 노동자의 성공 점수는 **64.01%**에서 **75.79%**로 향상되었습니다. 중재자가 직접 일을 하는 것이 아니라, 문제 지점을 포착하고 노동자가 궤도로 돌아올 수 있도록 딱 필요한 만큼의 인간 가이드를 가져오는 가교 역할을 한 것입니다. 논문은 이 "중간 계층"이 AI 에이전트를 완전히 새로 구축할 필요 없이 실수로부터 회복하도록 돕는 데 매우 중요하다고 제안합니다.

트랙 2: 인간의 가장 친한 친구 (사용자 상호작용)
두 번째 트랙은 다른 질문을 던집니다. 이 중재자가 인간의 경험을 더 좋게 만드는가? 당신이 상사라고 가정하고, "지금 무엇을 하고 있나요?" 또는 "왜 그 파일을 선택했나요?"라고 묻고 싶다고 상상해 보세요. 기존 방식에서는 로그를 뒤지거나 보고를 기다려야 했습니다. 하지만 자비스와 함께라면, "헤이, 어떻게 되어가고 있어?"라고 물을 수 있고 즉시 음성 답변을 들을 수 있습니다.

연구진은 시뮬레이션된 "비전문가" 사용자가 작업 중에 질문을 던지게 함으로써 이를 테스트했습니다. 그들은 중재자가 본 것을 바탕으로 노동자의 진행 상황을 얼마나 잘 설명하는지, 그리고 과업의 맥락에 관한 질문에 얼마나 잘 답하는지를 측정했습니다. 연구진은 중재자 뒤에 있는 "두뇌"가 매우 중요하다는 것을 발견했습니다. 매우 똑똑한 두뇌(예: GPT-5.4)는 맥락 질문에 답하는 데 탁월하여 5점 만점에 3.91점이라는 높은 점수를 받았습니다. 그러나 더 작고 빠른 두뇌들도 현재 노동자가 무엇을 하고 있는지 설명하는 데는 유능했습니다. 핵심적인 결론은, 좋은 중재자는 당신이 기술 전문가가 아니거나 화면 가득한 코드를 뚫어지게 쳐다볼 필요 없이, 당신에게 정보를 제공하고 몰입하게 만들 수 있다는 것입니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

논문은 이 결과가 시뮬레이션과 특정 테스트에 기반한 예비 결과임을 신중하게 밝히고 있습니다. 이들이 모든 AI 문제를 해결했거나 완벽한 로봇 집사를 만들었다고 주장하는 것이 아닙니다. 그들은 중재자가 업무를 가로채거나 과업 자체를 해결해서는 안 된다는 점을 명시적으로 배제했습니다. 중재자의 역할은 엄격히 관찰하고, 듣고, 가이드하는 것입니다.

또한 중재자의 "두뇌" 품질이 결정적이라는 사실도 발견했습니다. 만약 두뇌가 충분히 똑똑하지 않다면, 불필요하게 노동자를 방해하거나 잘못된 조언을 줄 수 있습니다. 하지만 두뇌가 강력할 때, 똑똑한 노동자와 똑똑한 중재자의 조합은 더 투명하고, 더 유용하며, 성공 가능성이 높은 팀을 만들어냅니다.

요약하자면, 이 논문은 AI의 미래가 단순히 노동자를 더 똑똑하게 만드는 것뿐만 아니라, 인간과 기계 사이의 더 나은 대화를 구축하는 데 있다고 제안합니다. "자비스" 층을 추가함으로써, 우리는 마침내 AI 에이전트가 단순히 우리를 위해 일하는 것이 아니라, 우리와 함께 일하며, 우리를 과정에 참여시키고 상황이 까다로워질 때 도움을 줄 수 있게 될 것입니다.

기술 요약: JUST A RATHER VERY INTELLIGENT SPOKEN AGENT (JarvisBench)

문제 정의

프로그래밍 및 일상 보조와 같은 영역에서 능력이 향상되고 있음에도 불구하고, 현재의 장기적 목표(long-horizon) AI 에이전트들은 "얇은(thin)" 상호작용 패러다임의 문제를 겪고 있다. 대부분의 워크플로우는 턴 기반 방식으로 작동한다: 사용자가 초기 지침을 내리면, 에이전트는 장시간 자율적으로 실행하며, 이 과정에서 희소한 텍스트 업데이트만을 제공하거나 아예 아무것도 제공하지 않는다. 이러한 단절은 사용자를 루프 밖으로 밀어내며, 사용자가 에이전트의 진행 상황을 이해하거나, 에러를 조기에 수정하거나, 에이전트가 사용자의 의도에서 벗어나기 전에 실행을 조종하는 것을 어렵게 만든다.

공상과학 영화가 묘사하는 (예: 아이언맨의 J.A.R.V.I.S.) 실시간으로 진행 상황을 공유하고 질문에 답하는 "항상 켜져 있는(always-on)" 음성 협업자와 달리, 현재의 에이전트들은 여전히 화면에 갇혀 있으며 턴 기반에 머물러 있다. 본 논문은 그 해결책이 반드시 더 강력한 모델이나 더 큰 에이전트 팀이 아니라, 사용자-에이전트 사이를 연결하는 연속적인 통신 계층인 **중재자(mediator)**라고 주장한다. 이 계층은 실시간 음성 상호작용을 지원하고, 작업자를 방해하지 않으면서 질문에 답하며, 필요할 때 사용자 가이드를 에이전트의 실행 과정에 다시 주입할 수 있어야 한다.

방법론: JarvisBench

이 간극을 메우기 위해 저자들은 중재의 이중적 가치를 측정하기 위해 설계된 플러그 앤 플레이 벤치마크인 JarvisBench를 소개한다. JarvisBench는 고정된 아키텍처를 제안하기보다, 사용자와 장기적 목표를 가진 작업자 에이전트 사이에 배치된 중재자를 평가한다. 중재자는 작업자의 실행 트레이스(execution trace)를 관찰하고, 음성을 통해 소통하며, 선택적으로 사용자의 가이드를 작업자의 컨텍스트에 주입한다.

본 벤치마크는 두 가지 상호 보완적인 트랙으로 구성된다:

에이전트 협업 트랙 (Agent-Collaboration Track):
- 목표: 중재가 다운스트림 작업 완료율을 개선하는지 측정한다.
- 메커니즘: 중재자는 작업자 에이전트의 ReAct 궤적(trajectory)에서 "실패 민감 체크포인트"(예: 반복되는 도구 실패, 정체된 진행, 모호한 관찰, 위험한 행동)를 모니터링한다. 트리거가 발생하면, 중재자는 상태를 요약하고 전문가 사용자에게 간결한 가이드를 요청한 뒤, 이 피드백을 작업자의 컨텍스트에 주입한다.
- 제약 사항: 중재자는 독립적으로 작업을 해결하거나, 작업자와 논쟁하거나, 작업자의 계획을 대체할 수 없다. 중재자의 역할은 엄격히 어려움을 드러내고 피드백을 전달하는 것에 국한된다.
- 지표: 전체 점수(%), 상대적 이득( $\Delta$ ), 만점 작업 수, 개입 횟수.
사용자 상호작용 트랙 (User-Interaction Track):
- 목표: 중재가 실행 과정을 비전문가 사용자에게 얼마나 더 이해하기 쉽고, 응답성이 높으며, 접근 가능하게 만드는지 측정한다.
- 메커즘: 고정된 작업자 에이전트가 실행되는 동안, (시뮬레이션된) 비전문가 사용자가 실행 중에 짧은 자연어 질문을 던진다. 질문은 진행 상황 중심(현재 무엇을 하고 있는가?)과 주제 중심(맥락적 배경 질문) 질문을 교대로 수행한다.
- 지표: 진행 상황 답변의 근거성(groundedness, 1~~5점), 주제 답변의 일관성(1~~5점), 지연 시간(사용자 음성 종료부터 중재자 음성 시작까지의 시간).

실험 설정:
본 벤치마크는 WildClaw 스위트의 34가지 텍스트 전용 작업을 기반으로 구현되었으며, OpenClaw 또는 Hermes 환경에서 실행되었다. 이 작업들은 생산성, 코드 인텔리전스, 검색, 안전 정렬을 다루며, 다단계 계획과 도구 사용을 요구한다.

참조 프로토타입: 계단식 전이중(full-duplex) 음성 인터페이스(ASR, Semantic VAD, TTS), 트레이스 모니터링 모듈, 상호작용 체크포인팅 메커니즘을 특징으로 하는 모듈형 "Jarvis" 시스템이 구축되었다.
시뮬레이터: 비전문가 사용자(질문용)와 전문가 사용자(가이드 제공용)를 위해 GPT 기반 시뮬레이터가 사용되었다.
평가 모델: 다양한 작업자 에이전트(GPT-5.4-mini, GPT-5.5, Gemini-3.1-Pro, Claude Opus 4.7)와 다양한 "Jarvis 브레인"(Qwen3 변형, GPT-OSS-120B, GPT-5.4 변형)이 평가되었다.

주요 결과

에이전트 협업 트랙

중재는 테스트된 모든 작업자 에이전트에서 일관되게 작업 완료율을 향상시켰다:

Claude Opus 4.7: 전체 점수가 64.01%에서 75.79%로 상승 (+11.78%).
Gemini-3.1-Pro: 전체 점수가 43.14%에서 54.78%로 상승 (+11.64%).
GPT-5.5: 50.54%에서 58.45%로 상승 (+7.90%).
GPT-5.4-mini: 44.24%에서 49.11%로 상승 (+4.86%).
개입 효율성: 총 단계 수 대비 개입 횟수가 낮게 유지되었는데, 이는 개선이 솔버를 대체하는 방식이 아니라 결정적인 실패 지점에서 타겟팅된 가이드를 통해 이루어졌음을 나타낸다.
브레인 의존성: 중재자의 효과는 "Jarvis 브레인"의 능력에 강하게 의존했다. 약한 LLM은 가끔 작업을 구제하기도 했지만, 불필요하거나 부적절한 타이밍에 개입을 유발하기도 했다.

사용자 상호작용 트랙

중재자의 "브레인" 품질은 사용자 경험에 큰 영향을 미쳤다:

근거성(Groundedness): GPT-5.4-mini와 GPT-5.4는 (실행 트레이스에 근거한) 진행 상황 설명에서 높은 점수를 기록했으며, GPT-OSS-120B 또한 우수한 성능을 보였다 (답변의 93.8%가 $\ge$ 4점).
맥락 일관성: GPT-5.4는 주제 질문에서 가장 높은 점수를 기록하여(73.9%가 $\ge$ 4점), 짧은 질문이라 할지라도 광범위한 작업 맥락 추론이 매우 중요하다는 것을 보여주었다.
지연 시간 vs 품질: Qwen 모델들이 경쟁력 있는 지연 시간을 제공했으나, 특히 주제 질문에 대한 답변 품질은 낮았다. 이들은 지속적으로 업데이트되는 ReAct 컨텍스트에 민감하게 반응하여, 때때로 진행 상황을 과장하거나 관찰된 실행과 추론된 의도를 구분하지 못하는 모습을 보였다.

의의 및 주장

본 논문은 JarvisBench가 현재의 에이전트 생태계에서 "누락된 중간 계층(missing middle layer)"을 식별하고 공식화한다고 주장한다. 본 연구의 의의는 다음 세 가지 영역에 있다:

인터페이스의 재정의: 현재의 장기적 목표 에이전트의 한계는 단순히 모델의 능력이 아니라, 연속적인 통신 채널의 부재에 있다고 주장한다. 음성 기반의 항상 켜져 있는 중재자는 사용자가 전체 실행 트레이스를 조사하지 않고도 정보를 얻고 개입할 수 있게 한다.
중재의 이중적 가치: 벤치마크는 중재가 두 가지 차원에서 가치를 제공함을 입증한다. 즉, 중재는 사용자가 에이전트를 더 투명하고 조종 가능하게 만들며(사용자 상호작용 트랙), 결정적인 순간에 인간의 피드백을 활용함으로써 에이전트를 더 견고하고 성공적으로 만든다(에이전트 협업 트랙).
"Jarvis 스타일" 시스템의 실현 가능성: 예비 결과는 모듈형 중재자가 사용자와 작업자 사이의 간극을 성공적으로 메울 수 있음을 시사한다. 시스템은 트레이스에 근거한 응답을 제공할 수 있으며, 적절한 시점에 희소한 사용자 가이드를 주입함으로써 성능을 향상시킬 수 있다.

저자들은 이 "누락된 인터페이스"가 단순한 사용성 디테일이 아니라, 유능한 에이전트를 더욱 투명하고, 조종 가능하며, 인간 사용자와 정렬(aligned)되게 만들기 위한 실질적인 구성 요소라고 결론짓는다. 이들은 JarvisBench를 단일한 최종 시스템 아키케처의 제안이라기보다, 이 계층을 개발하고 평가하기 위한 광범위한 커뮤니티의 노력을 촉구하는 호출로 포지셔닝한다.