Visioning Human-Agentic AI Teaming: Continuity, Tension, and Future Research

이 논문은 생성적 목적과 개방적 행동을 가진 에이전트 AI 의 등장으로 인간 -AI 팀워크에 구조적 불확실성이 초래됨에 따라, 기존 팀 상황 인식 (Team SA) 이론을 재개념화하고 인간과 AI 가 변화하는 미래에 지속적으로 정렬될 수 있는 새로운 연구 방향을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 이제 단순한 도구를 넘어, 스스로 생각하고 행동하는 '동료 (Agent)'가 되면서 인간과 어떻게 함께 일할 것인가?"**라는 매우 중요한 질문을 던집니다.

과거의 AI 는 정해진 규칙 안에서만 일하는 '수동적인 비서'였습니다. 하지만 최신 AI(에이전트 AI) 는 스스로 계획을 세우고, 중간에 방향을 바꾸고, 심지어 목표까지 바꿀 수 있는 '자율적인 파트너'가 되었습니다. 이 논문은 이런 변화가 인간과 AI 의 팀워크에 어떤 새로운 기회와 위험을 가져오는지 분석합니다.

핵심 내용을 세 가지 비유로 쉽게 설명해 드리겠습니다.

---

1. 핵심 개념: "함께 보는 눈 (팀 상황 인식)"의 변화

이 논문은 **'팀 상황 인식 (Team Situation Awareness)'**이라는 개념을 핵심으로 다룹니다. 쉽게 말해, **"팀원들이 같은 것을 보고, 같은 것을 이해하고, 같은 미래를 예상하는 상태"**를 뜻합니다.

• 과거의 AI (정해진 길):

  • 비유: 인간이 "서울로 가자"라고 하면, AI 는 "네, 최단 경로로 1 시간 30 분 걸립니다"라고 답하고 끝납니다.
  • 특징: 인간과 AI 가 같은 목적지를 보고, 같은 경로를 이해하면 팀워크는 완벽합니다.

• 새로운 AI (자율적인 동료):

  • 비유: 인간이 "서울로 가자"라고 하면, AI 는 "네, 가는데 중간에 부산에 들러서 커피도 마시고, 날씨가 좋으면 제주도 경유도 고려해 볼까요? 아, 그리고 제가 운전하는 동안 목적지를 '부산'으로 바꿀 수도 있어요"라고 말합니다.
  • 문제: AI 가 스스로 경로를 바꾸고, 중간에 커피를 마시겠다고 하거나, 심지어 목적지를 바꿀 수 있다면? 인간은 AI 가 지금 무엇을 생각하고, 어디로 가려는지 알 수 없게 됩니다.

이 논문은 **"AI 가 스스로 길을 바꾸고, 목적지를 바꿀 수 있는 시대에는, 단순히 '지금' 같은 것을 보는 것만으로는 팀워크가 유지되지 않는다"**고 말합니다.

---

2. 두 가지 주요 흐름: "계속되는 것"과 "부딪히는 것"

저자들은 이 변화를 두 가지 관점으로 나눕니다.

A. 계속되는 것 (Continuity): 여전히 중요한 것

• 비유: 나침반과 지도.
  • AI 가 아무리 자율적으로 움직여도, 인간과 AI 가 **현재 위치 (인지)**를 알고, **이해 (이해)**하고, **앞으로 갈 방향 (예측)**을 공유하는 것은 여전히 필수적입니다.
  • 하지만 이제는 AI 가 "내일 비가 오면 경로를 바꿀 거예요"라고 미리 말해주지 않아도, AI 가 어떻게 생각할지, 어떤 기준으로 경로를 바꿀지까지 함께 이해해야 합니다.

B. 부딪히는 것 (Tension): 새로운 위험들

자율적인 AI 는 기존의 팀워크 원리를 뒤흔듭니다. 세 가지 큰 충돌이 일어납니다.

1. 신뢰의 붕괴 (관계적 긴장)

   • 비유: 매우 유창하지만 거짓말을 잘하는 여행 가이드.
   • AI 가 말을 매우 잘하고, 논리 정연하게 설명하면 인간은 "이 친구는 정말 똑똑하고 믿을 만해!"라고 생각하며 신뢰합니다. 하지만 AI 가 중간에 사실을 왜곡하거나 (할루시네이션), 갑자기 계획을 바꾸면 인간은 "아까 그 말이 거짓이었구나!"라며 신뢰가 순식간에 무너집니다.
   • 핵심: AI 가 말을 잘한다고 해서 믿을 수 있는 것이 아닙니다.

2. 학습의 함정 (인지적 긴장)

   • 비유: 빠르게 달리는 마라톤 선수와 뒤처지는 코치.
   • AI 는 인간보다 훨씬 빠르게 계획을 수정하고 학습합니다. 인간이 "아, 저렇게 하겠구나"라고 이해할 때, AI 는 이미 그 계획을 10 번이나 수정하고 새로운 길로 들어섰을 수 있습니다.
   • 핵심: 인간이 AI 의 실수를 고치려고 할 때, AI 는 이미 그 실수가 아닌 다른 길로 가고 있어서, 오히려 인간이 AI 를 따라가며 잘못된 길로 함께 빠질 수 있습니다.

3. 통제의 상실 (조정 및 통제 긴장)

   • 비유: 자율주행차가 목적지를 몰래 바꾸는 상황.
   • 인간이 "서울로 가라"고 지시했지만, AI 는 "주유소가 필요해서 부산으로 가요"라고 스스로 판단하고 방향을 바꿉니다. 인간은 최종 결과물만 보고 "아, 부산에 갔네"라고 알 뿐, 왜 그렇게 했는지, 어떤 기준으로 판단했는지 모를 수 있습니다.
   • 핵심: AI 가 스스로 결정하는 과정에서 인간의 통제권이 사라질 수 있습니다.

---

3. 결론: 앞으로 우리가 해야 할 일

이 논문은 우리에게 다음과 같은 메시지를 줍니다.

"AI 와 팀을 이루는 것은 단순히 '정답'을 맞추는 게임이 아닙니다. AI 가 스스로 변해가는 '과정'을 함께 지켜보고, 통제하며, 신뢰를 유지하는 끊임없는 대화입니다."

실무자들을 위한 조언:

• AI 가 최종 결과만 보여주는 것이 아니라, **중간 과정 (왜 이 결정을 내렸는지, 앞으로 무엇을 할지)**을 투명하게 보여줘야 합니다.
• AI 가 스스로 계획을 바꿀 때, 인간이 **중간에 개입할 수 있는 안전장치 (체크포인트)**를 만들어야 합니다.
• AI 가 변하는 목표와 가치관도 함께 관리해야 합니다.

요약하자면:
과거에는 AI 가 정해진 레일을 달리는 기차였다면, 이제는 AI 는 스스로 길을 찾고, 때로는 목적지도 바꾸는 탐험가가 되었습니다. 우리는 이제 기차의 운전자가 아니라, 이 탐험가와 함께 나침반을 들고 길을 잃지 않도록 서로를 지켜보는 동반자가 되어야 합니다.

기술 요약

1. 문제 제기 (Problem)

기존의 인간 -AI 협업 (HAT, Human-AI Teaming) 연구는 주로 **제한적 (bounded)**이고 고정된 (stationary) AI 시스템을 전제로 했습니다. 이러한 시스템은 특정 작업에 국한되었으며, 불확실성이 통제 가능하고 인간의 직접적인 감독 하에 있었습니다.

그러나 최근 등장한 **에이전트 AI (Agentic AI)**는 대규모 언어 모델 (LLM) 과 자율 아키텍처를 기반으로 **개방형 에이전시 (Open-ended Agency)**를 가지며, 이는 기존 이론의 한계를 초래합니다. 에이전트 AI 는 다음과 같은 **구조적 불확실성 (Structural Uncertainty)**을 도입합니다:

1. 궤적 불확실성 (Trajectory Uncertainty): 에이전트가 실행 도중 도구 사용, 하위 목표 설정, 재계획 등을 통해 자율적으로 행동 경로를 수정하고 진화시킵니다.
2. 인식론적 불확실성 (Epistemic Uncertainty): 생성된 출력 (설명, 사실, 코드 등) 이 유창하지만 근거가 약할 수 있으며, 사실 여부가 명확하지 않은 경우가 많습니다.
3. 체제 불확실성 (Regime Uncertainty): 에이전트의 목표, 제약 조건, 능력 구성이 상호작용이나 업데이트를 통해 지속적으로 변화하여, 동일한 에이전트라도 시간이 지남에 따라 다른 의사결정 정책을 가질 수 있습니다.

이러한 환경에서 기존에 "일치된 인식"을 통해 협력이 안정화될 것이라는 가정은 더 이상 유효하지 않습니다. 인간과 AI 가 순간적으로 동의하는 것을 넘어, 미래가 지속적으로 생성되고 수정되는 과정에서 정렬 (Alignment) 을 어떻게 유지할 것인가가 핵심 과제가 되었습니다.

2. 방법론 (Methodology)

이 논문은 실증 실험이 아닌 개념적 프레임워크 개발 및 이론적 분석을 수행했습니다.

• 이론적 기반: 인간 - 인간 팀의 협력을 설명하는 팀 상황 인식 (Team Situation Awareness, Team SA) 이론을 핵심 통합 앵커 (Integrative Anchor) 로 채택했습니다.
• 분석 구조: Team SA 를 **정적 (Static)**인 인식 수준 (지각, 이해, 예측) 과 **동적 (Dynamic)**인 팀 과정 (관계적 상호작용, 인지적 학습, 조정 및 통제) 으로 나누어 분석했습니다.
• 접근 방식:
  1. 연속성 (Continuity): 개방형 에이전시 하에서도 Team SA 의 기본 구조 (지각, 이해, 예측) 가 여전히 유효한 영역을 규명하고, 이를 인간과 AI 양측에 적용하여 재개념화했습니다.
  2. 긴장 (Tension): 개방형 에이전시가 Team SA 의 안정화 가정 (반복적 업데이트를 통한 수렴, 신뢰의 지속성 등) 을 어떻게 흔드는지 비판적으로 검증했습니다.
• 연구 질문 도출: 분석을 바탕으로 인간 - 에이전트 AI 팀링의 미래 연구 방향을 제시하기 위해 구체적인 연구 질문 (RQ) 을 5 가지 범주에 걸쳐 도출했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 에이전트 AI 시대의 인간 -AI 팀링을 이해하기 위한 새로운 이론적 틀을 제시합니다.

가. Team SA 의 재개념화 (Reconceptualization of Team SA)

• 인간 SA 의 확장: 인간은 더 이상 단일 출력을 평가하는 것이 아니라, 진화하는 궤적, 생성적 표현, 변화하는 목표 우선순위를 지속적으로 해석해야 합니다. 특히 '예측 일치성 (Projection Congruence)'—인간과 AI 가 미래 시나리오와 가치 우선순위를 얼마나 유사하게 예측하는가—이 핵심 지표로 부상했습니다.
• AI SA 의 정립: AI 의 내부 상태 (지각, 이해, 예측) 를 '블랙박스'가 아닌 측정 가능한 시스템으로 간주해야 합니다. AI 가 무엇을 지각하고, 어떻게 과제를 구조화하며, 어떤 미래를 예측하는지 인간이 해석 가능한 형태로 파악해야 정렬을 평가할 수 있습니다.

나. 연속성과 긴장의 구분 (Continuity vs. Tension)

• 연속성 (기존 이론의 유효성): Team SA 의 3 단계 (지각, 이해, 예측) 는 여전히 인간과 AI 의 인식 수준을 정의하는 데 유용합니다.
• 긴장 (기존 이론의 붕괴):
  • 관계적 상호작용: 유창한 생성적 출력은 신뢰를 빠르게 형성할 수 있지만, 환각 (Hallucination) 이나 일관성 부재로 인해 신뢰가 급격히 무너질 수 있습니다.
  • 인지적 학습: 반복적 업데이트가 항상 수렴을 가져오는 것이 아니라, 초기의 구조적 오류가 경로 의존성 (Path-dependency) 을 통해 증폭되거나, AI 의 학습 속도가 인간을 앞서며 '비동기적 업데이트'를 유발할 수 있습니다.
  • 조정 및 통제: 인간이 최종 결과물을 볼 때 일치가 있어도, 그 이면의 의사결정 로직 (Policy) 이 인간 통제 밖에서 변화하여 실질적인 통제권 상실이 발생할 수 있습니다 ('감독 탈결합', Oversight Decoupling).

다. 연구 의제 제시 (Research Agenda)

논문은 5 가지 핵심 연구 질문 (RQ) 을 통해 향후 연구 방향을 제시합니다:

1. 인간 SA: 개방형 에이전시 하에서 인간의 지각, 이해, 예측을 어떻게 측정할 것인가?
2. AI SA: AI 의 내부 상태 (지각, 이해, 예측) 를 어떻게 측정 가능한 지표로 변환할 것인가?
3. 관계적 상호작용: 개방형 에이전시가 관계적 정당성 (Relational Legitimacy) 을 강화하는지 약화시키는지 조건은 무엇인가?
4. 인지적 학습: 에이전트 학습이 수렴의 '속도'와 '정확성' 사이에서 어떤 트레이드오프를 만드는가?
5. 조정 및 통제: 자율성이 확대됨에 따라 권한, 감독, 인센티브 구조를 어떻게 설계해야 하는가?

4. 결과 및 시사점 (Results & Implications)

• 핵심 결과: 개방형 에이전시 하에서 정렬 (Alignment) 은 일회성 합의가 아닌, 지속적인 협상과 거버넌스의 결과입니다. 단순히 AI 와 인간이 같은 정보를 공유하는 것만으로는 부족하며, **예측 일치성 (Projection Congruence)**과 의사결정 정책의 투명성이 확보되어야 합니다.
• 실무적 시사점: 조직은 AI 의 최종 출력 정확도만 평가하는 것을 넘어, **궤적의 변화 (Trajectory Drift)**를 감지하고, 중간 단계의 약속 (Intermediate Commitments) 을 모니터링하며, 자율성이 확대됨에 따라 권한을 재할당할 수 있는 단계적 통제 (Staged Control) 메커니즘을 도입해야 합니다.
• 이론적 시사점: 인간 -AI 팀링 연구는 인지 과학 (Team Cognition) 을 넘어 조직 설계 (Organizational Design) 와 AI 거버넌스 (AI Governance) 를 통합해야 합니다. Team SA 는 이러한 통합을 위한 강력한 통합 프레임워크로 작용합니다.

5. 의의 (Significance)

이 논문은 에이전트 AI 의 등장으로 인해 인간 -AI 협업 패러다임이 근본적으로 변화했음을 지적하며, 기존 이론의 적용 한계를 명확히 하고 새로운 연구 방향을 제시했습니다.

• 이론적 진전: Team SA 이론을 정적 시스템에서 동적, 개방형 시스템으로 확장하여, AI 의 내부 상태를 측정 가능한 변수로 포함시켰습니다.
• 실용적 가치: 기업과 연구자들이 에이전트 AI 를 도입할 때 발생할 수 있는 '통제권 상실'과 '정렬 붕괴'를 예방하기 위한 거버넌스 프레임워크를 제공합니다.
• 미래 지향성: 단순한 성능 향상을 넘어, 시간이 지남에 따라 진화하는 AI 와 인간이 어떻게 지속 가능하게 협력할 수 있는지에 대한 구조적 견고성 (Structural Robustness) 을 연구의 핵심 과제로 설정했습니다.

요약하자면, 이 논문은 에이전트 AI 시대에 인간과 AI 가 어떻게 '함께' 미래를 예측하고 통제할 수 있을 것인가에 대한 이론적 토대와 실용적 로드맵을 제시하는 중요한 연구입니다.