💬 NLP

Tendem: A Hybrid AI+Human Platform

Tendem은 구조화된 과업을 위한 자동화된 에이전트와 검증을 위한 전문가의 개입을 활용하여, AI 전용 또는 인간 전용 워크플로우와 유사한 운영 비용을 유지하면서도 AI 전용 또는 인간 전용 방식보다 우수한 품질과 속도를 달성하는 하이브리드 AI-인간 플랫폼입니다.

원저자: Konstantin Chernyshev, Ekaterina Artemova, Viacheslav Zhukov, Maksim Nerush, Mariia Fedorova, Iryna Repik, Olga Shapovalova, Aleksey Sukhorosov, Vladimir Dobrovolskii, Natalia Mikhailova, Sergei Tilga

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Konstantin Chernyshev, Ekaterina Artemova, Viacheslav Zhukov, Maksim Nerush, Mariia Fedorova, Iryna Repik, Olga Shapovalova, Aleksey Sukhorosov, Vladimir Dobrovolskii, Natalia Mikhailova, Sergei Tilga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방대한 양의 데이터를 정리하거나, 상세한 보고서를 작성하거나, 특정 주제를 조사하는 것과 같은 복잡한 프로젝트를 수행해야 한다고 상상해 보십시오. 당신에게는 세 가지 주요 선택지가 있습니다. 인간 프리랜서를 고용하거나, 완전히 자동화된 AI 로봇을 사용하거나, 혹은 Tendem을 사용하는 것입니다.

논문에 따르면, Tendem은 "하이브리드" 팀입니다. 이것을 인간 전문가가 운전하는 고속 레이스카라고 생각하십시오. AI는 무거운 작업을 수행하고, 빠르게 주행하며, 반복적인 업무를 처리하는 엔진 역할을 합니다. 인간 전문가는 도로를 주시하며, 상황이 까 पे로워질 때 방향을 틀고, AI가 환각 현상을 일으키거나 길을 잃기 시작하면 브레이크를 밟는 운전자 역할을 합니다.

이 논문은 이 시스템을 다음과 같이 쉬운 용어로 설명합니다:

1. 작동 방식: "코파일럿(부조종사)" 시스템

논문은 Tendem을 AI와 인간이 함께 협력하되, 각자의 구체적인 역할이 있는 워크플로우로 설명합니다:

AI (엔진): 지루하고 빠르며 반복적인 일을 처리합니다. 웹을 탐색하고, 파일을 읽고, 콘텐츠 초안을 작성합니다. 이는 잠들지 않는 초고속 인턴과 같습니다.
인간 전문가 (코파일럿): 모든 단계를 직접 수행하지 않습니다. 대신 안전망 역할을 합니다. 그들은 특정 "게이트"(경주에서의 체크포인트와 같은)에서 AI의 작업을 검토합니다. AI가 확신이 없거나 작업이 위험할 경우, 인간이 개입하여 문제를 수정하고, 사실을 검증하며, 최종 결과물이 완벽하도록 보장합니다.
품질 검사: 결과물이 고객에게 전달되기 전, 이중 검사 시스템을 거칩니다. 먼저, 자동화된 도구가 오류를 스캔합니다. 그 다음, 인간 전문가가 최종적으로 검토하여 결과물이 실제로 의미가 있는지, 그리고 고객의 요구사항을 충족하는지 확인합니다.

2. 위대한 경주: Tendem vs. 경쟁자들

연구진은 94개의 실제 세계 작업(비즈니스 연락처 수집, 자동화 워크플로우 구축, 시장 조사 보고서 작성 등)을 사용하여 Tendem을 다른 두 그룹과 비교 테스트했습니다.

상대 A (인간 프리랜서): Upwork와 같은 플랫폼에서 고용되는 사람들입니다. 이들은 똑똑하고 신뢰할 수 있지만, 느리고 비용이 많이 들 수 있습니다.
상대 B (AI 전용): 전체 업무를 혼자 수행하려고 시도하는 완전 자동화된 AI(표준 ChatGPT 에이전트와 같은 모델)입니다. 빠르고 저렴하지만, 종종 실수를 하거나 세부 사항을 놓치거나 사실을 지어내곤 합니다.

결과:

품질: Tendem이 금메달을 차지했습니다. Tendem 결과의 **74.5%**가 "좋음"(즉시 사용 가능)으로 평가되었습니다.
- 인간 프리랜서는 **53.2%**의 "좋음"을 기록했습니다.
- AI 전용 봇은 **40.4%**의 "좋음"만을 기록했습니다.
- 비유: 만약 당신이 피자 100판을 주문했다면, Tendem은 75판을 제대로 만들어낼 것입니다. 인간 전용 팀은 53판을 제대로 만들 것이고, AI 전용 팀은 60판을 태우거나 덜 익힐 것입니다.
속도: Tendem은 인간보다 훨씬 빨랐습니다. 전체 시간을 절반으로 단축했습니다(53% 더 빠름).
- 인간은 평균 약 35시간이 걸렸습니다.
- Tendem은 약 16.5시간이 걸렸습니다.
- 비유: Tendem은 드론을 이용해 패키지를 즉시 떨어뜨리는 배달원과 같고, 인간 프리랜서는 교통 체증 속에서 트럭을 몰고 가는 것과 같습니다.
비용: Tendem은 인간보다 평균적으로 저렴했습니다(중간값 기준 36% 감소). 다만, AI 전용 버전이 가장 저렴했지만 품질이 낮았습니다.

3. 왜 Tendem이 승리했는가?

논문은 Tendem이 양측의 약점을 보완하기 때문에 승리했다고 제안합니다:

AI는 빠르지만 취약하다: AI가 혼란에 빠지거나 복잡한 다단계 문제에 직면하면, 사실을 지어내거나 지시 사항을 놓치는 경향이 있습니다. Tendem의 인간 전문가들은 이러한 오류가 고객에게 도달하기 전에 잡아냅니다.
인간은 신중하지만 느리다: 인간은 판단력은 뛰어나지만 쉽게 지치고 반복적인 데이터 입력에 많은 시간이 걸립니다. Tendem의 AI는 지루한 일들을 처리하여 인간이 중요한 결정에 집중할 수 있도록 합니다.

4. 시스템 뒤의 "두뇌"

논문은 Tendem의 AI 부분만을 따로 떼어 테스트했습니다(인간 없이). 연구진은 AI가 다음 작업에 매우 강하다는 것을 발견했습니다:

웹 브라우징: 온라인에서 정보 찾기.
도구 사용: 소프트웨어를 사용하여 업무 수행하기.
추론: 어려운 논리 퍼즐 해결하기.

이는 현재 사용 가능한 최고의 AI 모델들과 거의 대등한 수준입니다. 이는 "엔진"이 대부분의 작업을 수행할 만큼 강력하다는 것을 증명하며, 왜 인간이 가끔씩만 조타 핸들을 잡으면 되는지를 보여줍니다.

요약

Tendem은 "최고의 장점만을 결합한" 솔루션입니다. AI의 속도와 저렴한 비용, 그리고 인간 전문가의 신뢰성과 판단력을 결합했습니다. 테스트 결과, Tendem은 인간을 단독으로 고용했을 때보다 더 빠르고 저렴한 비용으로 더 높은 품질의 결과물을 만들어냈으며, AI가 단독으로 작업할 때 발생하는 실수들도 방지했습니다.

참고: 이 논문은 이 시스템이 일반적인 전문 업무(연구, 데이터, 콘텐츠 등)를 위한 것이며, 의료 조언, 법률 자문, 또는 상급 수준의 프로그래밍과 같은 고위험 영역은 다루지 않는다고 명시하고 있습니다.

기술 요약: Tendem – 하이브리드 AI+인간 플랫폼

문제 정의

완전 자율형 AI 에이전트는 종종 모호한 지시사항, 다중 문서 합성, 그리고 비국소적 품질 기준의 어려움을 겪으며, 정확도와 신뢰성을 희생하면서 속도 최적화에 치중하는 경향이 있습니다. 반대로, 인간 중심의 워크플로우(예: 프리랜서 마켓플레이스)는 책임감과 맥락적 추론 능력을 제공하지만, 가변적인 비용, 느린 처리 시간, 일관되지 않은 품질이라는 문제를 안고 있습니다. 시장에는 복잡한 실무 과업을 수행할 때 과도한 비용이나 지연 없이, AI의 효율성과 인간 전문가의 판단력을 결 şekilde 결합하여 고객에게 즉시 제출 가능한 수준의 고품질 결과물을 전달하는 시스템에 대한 공백이 존재합니다.

방법론

본 논문은 AI 에이전트와 인간 전문가를 포함하는 다층 파이프라인을 통해 과업을 조율하도록 설계된 하이브리드 실행 플랫폼인 Tendem을 소개합니다.

시스템 아키텍처

역할:
- 클라이언트(Client): 과업, 맥락, 수락 기준을 제공합니다.
- AI 에이전트(AI Agent): 계획–실행–관찰–검증(plan–act–observe–verify) 루프를 통해 루틴하고 도구 집약적인 작업(웹 브라우징, 파일 I/O, Python 분석, CLI)을 수행합니다. 또한 지속적인 자동 품질 보증(명세 준수, 인용 매칭, 자기 일관성)을 수행합니다.
- 인간 전문가(Human Expert): AI가 불확실성, 상충하는 정보원 또는 고위험 단계를 마주할 때 특정 "단계 게이트(step gates)"(예: 계획 감사, 초안 정교화)에서 개입합니다. 전문가 또한 최종 오프라인 QA를 수행합니다.
워크플로우: 프로세스는 클라이언트 요청에서 시작하여 명확화, 게이트 단계가 포함된 계획 수립, 적절한 전문가로의 라우팅, 하이브리드 실행, 온라인 QA, 오프라인 QA, 그리고 최종 완료 단계로 진행됩니다.
품질 보증(Quality Assurance): 다층적 접근 방식을 통해 작은 오류가 누적되지 않도록 합니다. 자동화된 체크가 잠재적 결함을 식별하며, 인간 검토자는 결과물 전달 전 논리 구조와 소스 자료와의 정렬 상태를 추적합니다.

평가 설계

저자들은 두 가지 별도의 평가 구성 요소를 사용하여 비교 연구를 수행했습니다.

자체 벤치마크 (실제 세계의 과업): 전문적인 프리랜서 업무(영업, 운영, 마케팅, 분석)를 모사하는 94개의 실제 과업 데이터셋입니다. 과업은 Upwork 및 Fiverr와 같은 플랫폼의 전형적인 카테고리에서 추출되었습니다.
- 베이스라인: Tendem은 ChatGPT 에이전트(완전 자동화) 및 Upwork 프리랜서(인간 전용)와 비교되었습니다.
- 지표: 결과 품질(정확성, 완결성, 스타일 및 포맷팅, 종합 품질로 평가), 시간(연결 + 실행), 가격(USD).
- 프로토콜: 실제 지연 시간을 포착하기 위해 공개 UI를 통해 과업을 게시했습니다. 인간 평가자는 시스템 출처를 알지 못하는 블라인드 테스트 상태에서 결과물을 Bad, Mediocre, Good, 또는 Decline 척도로 평가했습니다.
외부 에이전트 벤치마크: 자동화 백본의 강점을 평가하기 위해, 인간의 개입 없이 작동하는 Tendem의 기본 AI 에이전트를 공공 벤치마크에서 평가했습니다.
- 벤치마크: BrowseComp (웹 브라우징), HLE (Humanity's Last Exam, 고난도 지식/추론), GAIA (도구 사용을 포함한 어시스턴트 과업).

주요 결과

자체 벤치마크 성능

품질: Tendem은 **74.5%**의 "Good" 등급을 기록하며, Upwork(53.2%)와 ChatGPT 에이전트(40.4%)를 유의미하게 상회했습니다.
- 정확성: Tendem은 Upwork보다 정확도를 10.7%포인트(pp) 향상시켰습니다.
- 완결성: 가장 큰 폭의 개선은 완결성(+Upwork 대비 22.3pp)이었으며, 이는 단계 게이트가 누락을 줄였기 때문입니다.
- 신뢰성: Tendem은 Upwork(21.3%) 및 ChatGPT 에이전트(36.2%)에 비해 가장 낮은 "Bad" 비율(8.5%)을 보였습니다.
속도: Tendem은 Upwork(35.0시간)에 비해 중앙값 총 소요 시간을 53% 단축(16.5시간)했습니다. 연결 시간 또한 42% 감소했습니다.
비용: 중앙값 가격 측면에서 Tendem은 $32.0로, Upwork의 중앙값인 $50.0보다 **36% 저렴**했습니다. 복잡하고 에스컬레이션된 과업으로 인한 우측 꼬리 분포 때문에 평균 가격은 더 높았으나($ 69.2 vs $48.0), 전형적인(중앙값) 비용은 더 낮았습니다.
트레이드오프: Tendem은 품질 대 시간의 경계 영역에서 유리한 위치를 점유하며, 인간 전용 베이스라인에 비해 더 높은 품질을 더 낮은 중앙값 시간 및 비용으로 제공합니다.

외부 벤치마크 성능 (자율 에이전트)

인간의 개입 없이 작동할 때, Tendem의 AI 에이전트는 경쟁력 있는 성능을 보여주었습니다.

BrowseComp: 71.0% (최첨단 수준).
GAIA: 78.2% (나열된 베이스라인 중 최고 성능).
HLE: 39.0% (GPT-5 pro와 같은 선두 모델에 근접).
이러한 결과는 백본 에이전트가 루틴하고 도구 집약적인 단계를 자율적으로 처리할 만큼 견고함을 시사하며, 이는 판단력이 필요한 데에만 인간의 개입을 남겨두는 하이브리드 설계의 타당성을 입증합니다.

주요 기여

하이브리드 실행 모델: 동적 라우팅과 단계 게이트 워크플로우를 통해 AI의 효율성과 인간의 감독을 통합하여, 모호하거나 컴플라이언스가 민감한 과업의 "라스트 마일(last-mile)" 격차를 해결하는 검증된 아키텍처를 제시했습니다.
실제 세계 벤치마크: 전문적인 프리랜서 업무의 복잡성과 제약을 반영하는 94개 과업의 자체 벤치마크를 도입하여, 공공 벤치마크의 토이 퍼즐(toy puzzles) 한계를 극려했습니다.
경험적 증거: 하이브리드 시스템이 인간 전용 워크플로우에 비해 더 높은 품질(74.5% Good), 더 빠른 처리 속도(53% 시간 단축), 그리고 더 낮은 중앙값 비용(36% 감소)을 동시에 달성할 수 있음을 입증했습니다.
오픈 데이터: 재현성을 촉진하기 위해 평가된 모든 시스템의 입력 텍스트, 출력물 및 파일을 포함한 자체 벤치마크 데이터셋을 공개합니다.

의의 및 주장

본 논문은 인간 참여형(human-in-the-loop) 시스템이 품질을 위해 반드시 속도나 비용을 희생할 필요는 없다는 것을 증명함으로써, Tendem이 에이전트 워크플로우의 중요한 진전임을 주장합니다. 대신, 불확실성이나 영향력이 큰 지점에만 전략적으로 전문가를 배치함으로써 다음과 같은 "스윗 스팟(sweet spot)"을 달성했습니다.

품으로 향상: 계층적 QA와 전문가 정교화를 통해 AI 전용 시스템에서 흔히 발생하는 환각(hallucination)과 누락을 줄였습니다.
효율성 유지: AI가 루틴한 작업의 대부분을 처리하므로, 인간은 고부가가치 결정에 집중할 수 있습니다.
비용 최적화: 과업 완료에 필요한 총 시간을 줄임으로써 전문가 개입 비용을 상쇄합니다.

저자들은 관찰된 성과가 단일 구성 요소가 아닌 전체 하이브리드 스택에서 비롯된 것이라고 결론지으며, 이는 루틴한 단계는 자동화하고 판단이 중시되는 단계는 인간 전문가에게 에스컬레이션하는 설계 선택을 정당화합니다. 또한 현재 범위의 한계(시니어 레벨 프로그래밍이나 규제 대상 의료/법률 자문 제외)를 언급하며, 향후 작업은 도구 통합 확장과 전문가 풀의 확대에 집중할 것이라고 밝혔습니다.