💬 NLP

ProACT: Towards Breakdown-Aware Proactive Agent in Multi-User Collaboration

이 논문은 대화형 에이전트가 다중 사용자 환경에서 협업 문제를 선제적으로 식별하고 해결할 수 있도록 하는 분해 인지 프레임워크인 ProACT를 소개하며, 반응형 채팅 모델에 비해 개입의 품질과 적절성 측면에서 우수한 성능을 입증하는 새로운 벤치마크를 함께 제시한다.

원저자: Shu Yang, Difei Xu, Jiaxin Pei, Di Wang

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shu Yang, Difei Xu, Jiaxin Pei, Di Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구들과 깜짝 파티를 계획하기 위해 분주하게 대화 중인 단체 채팅방에 있다고 상상해 보세요. 모두가 아이디어를 내고 의견을 던지지만, 가끔은 혼란에 빠지기도 합니다.

현재 이 채팅방에 있는 대부분의 AI 어시스턴트는 침묵하는 사서와 같습니다. 그들은 선반 위에 앉아 누군가가 "방금 우리가 한 말 요약해 줄래?"라거나 "파티가 몇 시지?"라고 구체적으로 묻기만을 기다립니다. 만약 아무도 묻지 않는다면, 설령 그룹이 제자리를 맴돌거나 예산 같은 중요한 세부 사항을 잊어버리고 있더라도 그들은 아무 말도 하지 않습니다.

이 논문은 ProACT라는 새로운 종류의 AI를 소개합니다. ProACT를 사서가 아니라, 언제 개입하고 언제 침묵해야 할지를 정확히 아는 숙련되고 관찰력 있는 팀 캡틴 또는 심판이라고 생각해보세요.

ProACT가 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다.

1. 문제점: "반응형" 로봇

현재의 AI는 **반응적(reactive)**입니다. 밀어야만 움직입니다.

시나리오: 당신의 그룹 채팅에서 홀을 빌릴지 아니면 포트럭 파티를 할지를 두고 논쟁이 시작됩니다. 그러다 누군가 예산 제한을 잊어버립니다. 그다음, 두 사람이 한 시간 전에 이미 다��던 똑같은 지점을 두고 다시 논쟁을 벌입니다.
기존의 AI: 이 모든 과정을 지켜보지만, 아무도 질문을 던지지 않기 때문에 아무 말도 하지 않습니다. 문제를 해결할 기회를 놓치는 것입니다.

2. 해결책: "붕괴를 인지하는" 캡틴

ProACT는 **주도적(proactive)**입니다. 팀이 막히는 순간인 "붕괴(breakdown)"를 포착하기 위해 대화를 관찰합니다. ProACT는 다음과 같은 상황을 살핍니다:

루프(The Loop): 결론을 내지 못한 채 똑같은 점을 반복해서 논쟁하는 상황.
안개(The Fog): 규칙이나 목표에 대해 모두가 혼란스러워하는 상황.
잊혀진 규칙(The Forgotten Rule): 그룹이 이전에 합의한 규칙(예: 예산)을 어기는 제안을 누군가 하는 상황.
불균형(The Imbalance): 한 사람만 계속 말하고 조용한 전문가들이 무시되는 상황.

3. ProACT가 말할 때를 결정하는 법 ("심판의 본능")

이 부분이 가장 중요합니다. ProACT는 문제가 보일 때마다 무작정 말하는 것이 아닙니다. 스스로에게 두 가지 질문을 던집니다:

팀이 막혔는가? (붕괴가 발생했는가?)
팀이 이미 이를 해결하고 있는가? (인간들이 스스로 문제를 해결하고 있는가?)

축구 심판의 비유:
축구 경기를 상상해 보세요.

선수가 부상을 당해 경기가 중단되면, 심판(ProACT)이 개입합니다.
하지만 두 선수가 말다툼을 하다가도 금방 웃으며 경기를 계속한다면, 심판(ProACT)은 휘슬을 불지 않습니다. 휘슬을 부는 것은 흐름을 방해하고 짜증스러운 일이 될 수 있기 때문입니다.

ProACT도 마찬가지입니다. 인간들이 이미 혼란을 해결하고 있다면 ProACT는 침묵합니다. 만약 그들이 루프에 빠졌거나 규칙을 잊었다면, ProACT는 짧고 도움이 되는 넛지(nudge)와 함께 개입합니다.

4. 도구 상자: "채팅"이 아닌 "기술(Skills)"

ProACT가 말하기로 결정했을 때, 단순히 추측해서 말하는 것이 아닙니다. 마치 정비사가 알맞은 렌치를 고르는 것처럼 특정 기술의 도구 상자를 사용합니다:

"루프 브레이커(Loop Breaker)": "이 이야기는 벌써 세 번이나 나왔어요. 이제 결정을 내립시다."
"제약 조건 상기(Constraint Reminder)": "잠깐만요, 우리는 예산이 500달러라고 합의했는데, 이 계획은 600달러가 드네요."
"명확화(Clarifier)": "'옵션 B'가 정확히 무엇을 의미하는지 잘 모르겠어요. 누군가 설명해 줄 수 있나요?"

5. 결과: 더 나은 타이밍, 더 적은 소음

연구진은 수천 건의 실제 및 시뮬레이션된 그룹 대화(코딩 팀부터 기획 위원회까지)를 사용하여 ProACT를 표준 AI 챗봇과 테스트했습니다.

기존 방식: AI가 개입하지 말아야 할 때 개입하거나, 도와야 할 때 침묵하는 경우가 많았습니다.
ProACT: 언제 말을 해야 할지 훨씬 더 잘 파악했습니다.
- 인간들이 잘 해나가고 있을 때는 방해를 덜 했습니다.
- 실제로 말을 했을 때는 그 내용이 더 짧고, 유익하며, 덜 번거로웠습니다.
- 특히 사람들이 길을 잃기 쉬운 길고 복잡한 대화에서 그룹의 의사결정 품질을 향상시켰습니다.

요약

ProACT는 AI를 사용되기를 기다리는 수동적인 도구에서, 팀이 궤도를 유지하도록 돕는 능동적인 참여자로 변화시킵니다. ProACT는 언제 속삭이듯 상기시켜 주고 언제 대화의 흐름을 자연스럽게 내버려 두어야 할지를 정확히 아는 현명한 친구처럼 행동하여, 그룹이 혼란이나 논쟁 속에 갇히지 않도록 보장합니다.

기술 요약: ProACT: 다중 사용자 협업을 위한 브레이크다운 인지형 능동적 에이전트

문제 정의

대화형 에이전트는 회의 요약, 코드 초안 작성, 심의와 같은 인간의 협업 워크플로에 점점 더 깊이 통합되고 있습니다. 그러나 현재의 배포 방식은 근본적으로 **수동적이고 반응적(passive and reactive)**입니다. 즉, 에이전트는 명시적인 사용자 요청이나 사전 정의된 프롬프트에만 응답합니다. 이러한 설계는 불일치, 모호한 목표, 잊혀진 제약 조건, 미비한 계획, 논의 루프, 불균형한 참여와 같은 미묘한 "브레이크다운(breakdowns)"이 발생하는 다중 사용자 협업의 역동적인 특성을 해결하지 못합니다.

단일 사용자 지원과 달리, 다중 사용자 협업에서는 에이전트가 복잡한 사회적 역학을 탐색해야 합니다. 핵심 과제는 사용자들이 상충하거나 불확실한 의도를 가질 수 있는 그룹 상호작용에서 에이전트가 언제 개입할 것인지, 그리고 생산적인 논의를 방해하지 않으면서 어떻게 개입할 것인지를 결정하는 것입니다. 기존의 능동적 에이전트 프레임워크(예: Lu et al., 2025)는 단일 사용자 입력으로부터 사용자의 의도를 예측하는 데 집중하며, 그룹 코디네이션의 사회적 및 규범적 과제를 적절히 다루지 못합니다.

방법론: ProACT 프레임워크

저자들은 공통 기반(common ground), 협업 계획, 코디네이션 작업 이론에 근거한 브레이크다운 인지형 능동적 에이전트 프레임워크인 ProACT를 소개합니다. ProACT는 화자가 속성으로 지정된 대화 이력( $H_t$ )을 관찰하고, 침묵( $\emptyset$ )하거나 간결한 그룹 지향적 개입( $u_t$ )을 생성하는 두 가지 행동 중 하나를 결정하는 스킬 가이드 시스템으로 작동합니다.

1. 결정 파이프라인

프레임워크는 세 단계의 파이프라인을 따릅니다:

브레이크다운 인지 진단(Breakdown-Aware Diagnosis): 에이전트는 현재 대화 턴을 분석하여 협업 브레이크다운의 증거를 감지합니다. 에이전트는 진단 결과 $(b_t, z_t)$ 를 출력하며, 여기서 $b_t$ 는 감지된 이슈 유형이고 $z_t \in \{0, 1\}$ 은 개입이 필요한지 여부를 나타냅니다. 진단은 그룹이 이미 진전을 보이고 있는지 또는 스스로 복구(self-repairing) 중인지와 같은 로컬 컨텍스트를 고려합니다.
스킬 가이드 행동(Skill-Guided Action): 개입이 필요한 경우( $z_t=1$ ), 에이전트는 감지된 이슈를 특정 협업 스킬(Collaboration Skill)( $k_t$ )로 라우팅합니다. 그렇지 않으면 침묵을 출력합니다.
실행(Execution): 선택된 스킬은 사회적 제약(중립성, 비방해, 인간의 주체성 보존)을 준수하면서 특정 브레이크다운을 해결하는 가시적이고 간결한 개입( $u_t$ )을 생성하도록 가이드합니다.

2. 협업 브레이크다운 분류 체계

ProACT는 확립된 인간 협업 문헌을 바탕으로 8가지 구체적인 협업 브레이크다운 카테고리를 정의합니다(표 1):

갈등(Conflict): 상충하는 목표 또는 제약 조건.
불확실성(Uncertainty): 요구사항이나 의도에 대한 공유된 명확성 부족.
미비한 계획(Underspecified Plan): 실행 세부 사항(소유자, 마감일, 범위) 누락.
잊혀진 제약 조건(Forgotten Constraint): 이전의 약속이나 정책을 간과함.
목표 이탈(Goal Drift): 공유된 목표에서 벗어남.
논의 루프(Discussion Loop): 새로운 정보 없이 해결되지 않은 논쟁을 반복함.
참여 불균형(Participation Imbalance): 한쪽 관점의 지배 또는 이해관계자 누락.
위험한 약속(Risky Commitment): 리스크나 의존성을 해결하기 전에 결정을 향해 나아감.

3. 스킬 라이브러리

ProACT는 가볍고 재사용 가능한 스킬들로 구성된 라이브러리를 활용합니다(표 6). 각 스킬은 다음으로 정의됩니다:

트리거 조건(Trigger Condition): 스킬이 적용 가능한 시점.
진단 단서(Diagnostic Cues): 대화에서 찾아야 할 증거.
사회적 제약(Social Constraints): 중립을 유지하고 방해를 피하기 위한 가이드라인.
응답 형식(Response Format): 간결한 그룹 지향적 발화.
예로는 루프 차단(Loop Breaking) (결정 규칙 제안), 갈등 중재(Conflict Mediation) (상충하는 목표를 중립적으로 명시), 제약 조건 상기(Constraint Reminders) 등이 있습니다.

4. 구조화된 인터페이스

프레임워크는 내부 추론과 외부 출력을 분리합니다. 모델은 먼저 행동(침묵 vs 개입)과 스킬을 결정한 다음, 최종 응답을 생성합니다. 결정적으로, 가시적인 출력에는 진단 레이블, 스킬 이름 또는 메타 코멘터리가 포함되지 않고 오직 그룹 지향적 메시지만 포함되어, 에이전트가 채팅 내에서 자연스럽게 행동하도록 보장합니다.

벤치마크 및 평가

저자들은 능동적 협업을 평가하기 위해 다음으로부터 유도된 3,244개의 턴 레벨 예시를 포함하는 새로운 벤치마크를 구축했습니다:

실제 데이터: 소프트웨어, 제품 디자인, 연구, 교육을 아우르는 공개 GitHub 이슈 토론 및 QMSum 데이터셋.
합성 데이터: 희귀한 실패 모드에 대한 커버리지를 확보하기 위해 제어된 브레이크다운을 주입한 BEAM 데이터셋 기반의 800개 예시.

데이터셋은 **개입(intervention)**과 침묵(silence) 케이스 간의 균형이 맞춰져 있습니다. 평가는 LLM 판사(GPT-5.4-Nano)를 사용하여 다음 네 가지 기준에 따라 수행됩니다:

적절성(Appropriateness): 행동이 협업 상태에 부합하는가 (브레이크다운이 존재할 때만 개입하는가)?
비방해성(Non-Interruptiveness): 에이전트가 생산적인 흐름을 방해하거나 인간의 복구 과정을 중복시키지 않는가?
간결성(Conciseness): 응답이 짧고 불필요한 설명이 없는가?
개입 품질(Intervention Quality): 가시적인 응답이 유용하고, 근거가 있으며, 중립적이고, 실행 가능한가 (1–5 척도)?

실험 결과

저자들은 다섯 가지 LLM 백본(GPT-5.4, Kimi K2.5, Claude Sonnet 4.6, Gemini 3.1 Pro Preview, GPT-OSS-120B)에 대해 Direct Chat 베이스라인(에이전트가 모든 턴에 응답하는 방식)과 ProACT를 비교 평가했습니다.

지속적인 개선: ProACT는 모든 모델과 네 가지 지표 모두에서 Direct Chat보다 우수한 성능을 보였습니다.
- Kimi K2.5에서 가장 극적인 향상을 보였습니다: 적절성이 0.222에서 0.870으로, 비방해성이 0.323에서 0.942로, 간결성이 0.129에서 0.964로 증가했습니다.
- 다른 모든 백본에서도 유사한 경향이 관찰되었으며, 이는 브레이크다운 인지형 스킬 라우팅이 에이전트가 언제 말할 것인지와 어떻게 개입할 것인지를 결정하는 데 도움이 됨을 입증합니다.
참여 타이밍(Participation Timing): 분석 결과, ProACT는 불필요한 응답을 크게 줄이는 것으로 나타났습니다. 침묵으로 레이블링된 예시에서 Direct Chat은 100% 응답했으나(그 중 34.8%가 부적절하다고 판단됨), ProACT는 39.3%만 응답하여 전체적인 적절성을 89.6%로 높였습니다.
컨텍스트 민감도(Context Sensitivity): 품질 향상은 사회적 계획 작업(예: 위원회 토론, 학술 협업)과 대화 후반부(500 턴 이후)에서 가장 강력하게 나타났습니다. 이는 축적된 컨텍스트와 해결되지 않은 코디네이션 이슈로 인해 직접적인 응답의 신뢰도가 낮아지는 구간임을 보여줍니다.
보수적 절제(Conservative Abstention): 저자들은 많은 "놓친" 개입(참조 레이블이 개입 턴임에도 ProACT가 침묵한 경우)이 실제로는 외부 판사에 의해 **수용 가능한 절제(acceptable abstentions)**로 판단되었다는 점을 언급했습니다. 이러한 경우, 인간이 이미 문제를 해결하고 있었으며 에이전트의 메시지는 중복될 수 있었습니다.

의의 및 주장

본 논문은 ProACT가 다중 사용자 협업에서 수동적 보조에서 능동적 참여로의 전환을 나타낸다고 주장합니다. 주요 기여는 다음과 같습니다:

새로운 정식화: 능동적 협업을 단순히 "사용자를 돕는 것"이 아니라, 사회적 규범을 존수하며 "그룹 코디네이션을 복구하는 것"으로 정의했습니다.
브레이크다운 인지형 프레임워크: 협업 실패(갈등, 루프, 이탈 등)에 대한 구조화된 분류 체계에 에이전트의 결정을 근거하게 함으로써, 더 적절하고 덜 방해되는 행동을 이끌어낼 수 있음을 입증했습니다.
새로운 벤치마크: 다양한 도메인(계획, 디자인, 물류 등)에 걸쳐 능동적 에이전트를 평가하기 위한 최초의 평가 세트를 제공하여, 현재의 반응형 에이전트와 협업 워크플로의 필요성 사이의 간극을 조명했습니다.

저자들은 ProACT가 협업의 적절성을 개선하고 방해를 줄이지만, 통제된 오프라인 환경에서 작동한다는 점을 명시했습니다. 이들은 실제 배포 시 신뢰, 주체성, 조작에 관한 위험이 따를 수 있음을 인정하며, 향-후 연구에 실시간 연구와 투명성 및 논쟁 가능성(contestability)을 위한 메커니즘이 포함되어야 한다고 제안합니다. 이 연구는 적시적이고 브레이크다운을 인지하는 참여를 통해 인간의 협업을 지원하는 에이전트를 구축하기 위한 출발점 역할을 합니다.