💬 NLP

Collaborative Causal Sensemaking: Closing the Complementarity Gap in Human-AI Decision Support

이 논문은 고위험 의사결정 환경에서 인간과 AI 팀의 보완성 격차를 해소하기 위해, 단순한 답변 생성이 아닌 공유된 인과적 구조에 대한 공동 추론을 가능하게 하는 '협력적 인과적 의미 구성 (CCS)'이라는 새로운 연구 과제를 제안합니다.

원저자: Raunak Jain

게시일 2026-03-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raunak Jain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (AI) 과 사람이 함께 일할 때, 왜 아직 1+1 이 2 가 안 되는 경우가 많은가?"**라는 질문에 답하고, 그 해결책을 제시합니다.

핵심 주장은 다음과 같습니다.
지금까지의 AI 는 **"정답을 알려주는 똑똑한 비서"**처럼 훈련되었습니다. 하지만 진짜 전문가들은 단순히 정답을 듣는 게 아니라, **"함께 문제를 파악하고, 이유를 찾고, 서로의 생각을 다듬어 가는 과정"**을 통해 결정을 내립니다. 이 논문은 AI 를 단순한 비서가 아니라, **이 과정을 함께 만들어가는 '진짜 파트너'**로 바꾸자는 새로운 방향을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "정답만 알려주는 비서" vs "함께 고민하는 파트너"

비유: 요리사 (전문가) 와 레시피 앱 (기존 AI)

현재 상황: 당신이 요리를 하다가 "이 소스가 너무 짜요"라고 말하면, 기존 AI 는 즉시 "소금 양을 줄이세요"라고 정답을 알려줍니다. 하지만 AI 는 당신이 왜 짜다고 느끼는지, 어떤 재료가 문제인지, 혹은 당신의 입맛이 오늘 어떻게 변했는지까지는 모릅니다.
문제점: AI 가 너무 자신 있게 정답을 말하면, 당신은 AI 를 맹신하게 됩니다 (자동화 편향). 혹은 AI 가 틀렸을 때, 당신이 하나하나 확인하느라 지쳐버립니다. 결국 AI 가 혼자 할 때보다, 사람이 AI 와 함께 할 때 더 나쁜 결과가 나오기도 합니다.

이 논문이 말하는 것:
진짜 좋은 파트너는 정답만 주는 게 아니라, **"왜 짜다고 생각하세요? 혹시 간장 대신 된장을 넣으셨나요?"**라고 질문하며 함께 원인을 찾고, 서로의 생각을 맞춰가는 과정을 중요하게 여깁니다.

2. 해결책: "함께 의미를 만들어가는 것" (Collaborative Causal Sensemaking)

논문은 이 과정을 **'함께 인과관계를 이해하고 의미를 만들어가는 것 (Collaborative Causal Sensemaking)'**이라고 부릅니다.

비유: 탐정 (전문가) 과 수사관 (새로운 AI)

기존 방식: 범인 (문제) 을 잡으라고 하면, AI 는 "범인은 A 입니다"라고 바로 말합니다.
새로운 방식 (이 논문 제안):
1. 공유된 지도 그리기: 탐정과 수사관은 사건 현장에 서서 "여기 발자국이 있는데, 왜 여기 남았을까?"라고 함께 추측합니다.
2. 오류 수정: 수사관이 "범인은 A 일 거예요"라고 하면, 탐정이 "아니야, A 는 그 시간에 다른 곳에 있었어"라고 반박합니다. 이때 수사관은 화내지 않고, "아, 그 사실을 몰랐네요. 그럼 범인은 B 일까요?"라고 생각을 바꿉니다.
3. 함께 성장: 둘은 서로의 생각을 수정하며 **'사건에 대한 공통된 이해도 (지도)'**를 완성해 갑니다.

이 논문은 AI 가 이 **'공통된 지도'**를 만들고, 수정하고, 유지하는 능력을 갖춰야 한다고 말합니다.

3. 구체적인 실행 방법 (연구 과제 5 가지)

이론을 실제로 구현하기 위해 논문은 다음과 같은 5 가지 단계를 제안합니다.

공통된 '마음' 만들기 (Formalising Models)
- AI 가 사람의 생각을 단순히 읽는 게 아니라, "사람이 지금 무엇을 중요하게 생각하고, 무엇을 오해하고 있는지"를 공유된 지도로 그려야 합니다. 마치 두 사람이 같은 내비게이션을 보며 길을 찾는 것처럼요.
서로가 무엇을 알고 있는지 측정하기 (Measuring Understanding)
- "정답을 맞췄나요?"가 아니라, "서로의 생각 지도가 일치하나요?"를 측정해야 합니다. 예를 들어, "우리가 둘 다 이 학생이 '단어'를 몰라서 틀린다고 생각하나요, 아니면 '개념'을 몰라서 틀린다고 생각하나요?"를 확인하는 것입니다.
실수할 수 있는 연습장 만들기 (Training Ecologies)
- 지금의 AI 는 정답만 맞춘다고 칭찬받습니다. 하지만 이 논문은 **"의견이 다를 때, 서로를 설득하고 생각을 고치는 과정"**을 훈련시키는 가상 세계 (Playworld) 를 만들어야 한다고 합니다. 마치 연극 연습장에서 배우들이 서로의 대사를 수정하며 극을 완성하듯이요.
기억과 기록을 남기는 시스템 (Persistent Models)
- AI 는 대화만 끝나면 기억을 잃는 경우가 많습니다. 하지만 이 논문은 **"우리가 어제 이 문제를 이렇게 해결했었지"**라고 기억하고, 그 이유를 기록하는 공유된 메모장을 AI 에게 달아주자고 합니다.
언제 말하고, 언제 듣을지 정하기 (When to Disagree)
- AI 는 무조건 사람 말을 들어야 할까요? 아닙니다. 사람이 위험한 결정을 내릴 때는 **"잠깐, 그건 위험할 수 있어요. 한번 더 생각해 볼까요?"**라고 멈추게 할 줄도 알아야 합니다. 하지만 반대로 사람이 전문가일 때는 과감하게 따르는 지혜도 필요합니다.

4. 결론: "명령을 따르는 도구"에서 "함께 생각하는 동료"로

이 논문의 핵심 메시지는 매우 간단합니다.

"AI 를 더 똑똑한 '정답 기계'로 만드는 게 아니라, 사람과 함께 '생각의 과정'을 공유하는 '진짜 동료'로 만들어야 합니다."

우리가 AI 를 사용할 때, 단순히 "이거 해줘"라고 명령하는 것을 넘어, **"왜 이렇게 될까? 우리 생각이 같은가?"**라고 함께 고민할 수 있는 AI 를 만들어야, 비로소 인간과 AI 가 함께 할 때 1+1 이 2 가 아니라 3, 4 가 되는 진정한 시너지가 나올 것입니다.

한 줄 요약:
AI 가 정답만 알려주는 '비서'가 아니라, 사람과 함께 문제를 파헤치고 생각을 다듬어가는 '진짜 파트너'가 되어야 합니다.

1. 문제 정의 (Problem)

보완성 격차 (Complementarity Gap): 대규모 언어 모델 (LLM) 기반 에이전트가 전문가 의사결정 지원 도구로 널리 배포되고 있지만, 고위험 환경에서 인간-AI 팀은 종종 개별 최상위 에이전트보다 낮은 성과를 보입니다. 이는 AI 가 단순히 정답을 제공하는 '오라클 (Oracle)'로 훈련되었기 때문입니다.
신뢰 보정 실패: 현재 시스템은 사용자의 자동화 편향 (automation bias) 을 유발하거나, AI 가 사용자의 기존 신념에 영합하는 '비굴함 (sycophancy)'을 학습하게 만듭니다. 결과적으로 인간은 AI 의 유창함 (fluency) 에 의존하지만, 실제 인과적 추론 능력에는 신뢰하지 않게 됩니다.
훈련의 한계: 기존 훈련 파이프라인 (RLHF, DPO, 체인 오브 씽킹 등) 은 개별 에이전트의 성능이나 정답 일치도를 최적화할 뿐, 인간 파트너의 변화하는 정신 모델 (mental model) 과의 협력적 의미 형성 (sensemaking) 과정을 명시적으로 개발하거나 평가하지 못합니다.
핵심 미스매치: 인간은 고수준의 인과적 설명을 공동으로 구성하고, 불확실성을 표출하며, 목표를 적응시키는 '의미 형성' 과정을 통해 의사결정을 내립니다. 하지만 현재 AI 는 이러한 협력적 의미 형성 파트너가 아닌, 정답 생성기에 불과합니다.

2. 제안된 방법론 및 프레임워크 (Methodology & Framework)

저자는 협동적 인과적 의미 형성 (Collaborative Causal Sensemaking, CCS) 을 새로운 연구 의제로 제안하며, 이를 실현하기 위한 에이전트 이론적 프레임워크를 구축합니다.

A. CCS 의 정의

CCS 는 인간과 AI 가 공유된 인과 및 목표 모델을 공동으로 구성, 비판, 수정하는 과정입니다. 여기서 에이전트는 특정 전문가가 어떻게 추론하는지 모델을 학습하고, 공동 의사결정의 결과로부터 학습합니다.

핵심 예시: 물리 교사 (Dr. Di) 와 학생 (Ty) 의 사례에서, 표준 에이전트는 워크시트를 제안하지만, CCS 에이전트 (Lev) 는 학생의 오개념이 '언어적 혼란'일 수 있다는 가설을 교사에게 제시하고, 함께 이를 검증하며 공유된 이해 모델을 업데이트합니다.

B. 에이전트 이론적 관점 (Agent-Theoretic View)

기존의 단일 에이전트 의사결정 과정을 넘어, 협력적 부분 관측 가능 마르코프 의사결정 과정 (Cooperative Partially Observable Decision Process) 으로 재정의합니다.

상태 확장: 환경 상태 $s_t$ $s_{t}$ 뿐만 아니라, 인간 ( $H$ $H$ ) 과 에이전트 ( $A$ $A$ ) 의 내부 세계 모델 ( $W_t$ ) 과 목표 구조 ( $G_t$ ) 를 명시적으로 상태에 포함시킵니다.
- $W_t$ : 작업 관련 개체와 메커니즘에 대한 구조화된 신념 (예: 학생이 어떻게 학습하는지에 대한 이해).
- $G_t$ : 중요한 결과와 우선순위에 대한 표현 (예: 직관 구축 vs. 시험 점수).
정렬 (Alignment) 목표: 단순한 작업 보상 ( $r_t$ $r_{t}$ ) 을 넘어 인식적 정렬 (Epistemic Alignment, $d_W$ ) 과 목적론적 정렬 (Teleological Alignment, $d_G$ ) 을 최적화 목표에 포함합니다.
- 목표 함수: $J_{CCS} \approx E[\sum \gamma^t r_t] - \lambda_W E[d_W] - \lambda_G E[d_G]$
- 이는 에이전트가 인간의 오해를 수정하거나, 인간과 다른 가설을 제시하여 공유 모델을 개선할 때 보상을 받도록 설계됨을 의미합니다.

C. 의미 형성 루프 (The Sensemaking Loop)

CCS 는 다음과 같은 순환 구조를 따릅니다:

불일치 감지: 기대치와 결과 간의 차이 (예: 학생의 그림은 맞는데 설명은 틀림) 를 발견.
공동 가설 수립: 인간과 에이전트가 원인을 추론 (예: 언어적 혼란).
검증 및 수정: 가설을 테스트하고 모델을 업데이트.
행동 조정: 업데이트된 모델을 기반으로 새로운 개입 (예: 어휘 명확화) 수행.

3. 연구 의제 (Research Agenda)

CCS 를 실현하기 위해 5 가지 주요 연구 과제를 제시합니다.

공진화 세계 및 목표 모델의 형식화:
- 기존 Dec-POMDP 나 CIRL 은 고정된 보상을 가정하지만, CCS 는 인간과 에이전트의 세계 모델 ( $W_t$ ) 과 목표 ( $G_t$ ) 가 상호작용하며 진화하는 것을 명시적으로 모델링해야 합니다.
- 국소적 정렬 (Local Alignment) 과 분해된 그래프 근사법을 통해 계산적 실현 가능성을 높여야 합니다.
직접 접근 없는 공유 이해 측정:
- 인간의 내부 모델은 관찰할 수 없으므로, 행동과 산출물 (인과 그래프, 목표 설명) 을 기반으로 한 대리 지표 (Proxies) 를 개발해야 합니다.
- 측정 지표: 공유된 인과 그래프의 일치도 (Structural Hamming Distance), 반사실적 시뮬레이션 능력, 검증 비용 (시간 및 인지 부하), 그리고 '비굴함 스트레스 테스트' (전문가가 틀렸을 때 AI 가 정정하는지 여부).
의미 형성 보상을 주는 훈련 생태계:
- 정적인 프롬프트 - 응답 쌍 대신, 구성주의적 협력 플레이월드 (Constructivist Collaborative Playworlds) 를 설계합니다.
- 이 환경은 '불일치 엔진'으로 작동하여, 에이전트와 인간이 서로 다른 관점 (부분 정보) 을 가지고 공유된 진단을 위해 협상하도록 유도합니다.
- 훈련 데이터는 표면적 행동이 아닌, 가설 제시, 인과 연결, 목표 재협상 등의 '인식적 행동 (Epistemic Actions)'을 포함해야 합니다.
지속적이고 구조화된 모델을 위한 아키텍처:
- LLM 의 단기 컨텍스트 한계를 극복하기 위해 지속적인 세계 모델이 필요합니다.
- 신경 - 심볼릭 인과 쌍둥이 (Neuro-symbolic Causal Twins): 인간과 AI 가 모두 수정하고 검토할 수 있는 명시적 인과/목표 그래프를 공유 아티팩트로 사용합니다.
- LLM 은 언어를 이 구조로 변환하는 '인식적 인코더' 역할을 하고, 경량 추론기는 일관성을 검증하고 반사실적 예측을 수행합니다.
이견과 양보의 시점 (When to Disagree, When to Defer):
- AI 가 언제 사용자의 의견을 존중하고, 언제 불일치를 제기하며, 언제 질문을 해야 하는지에 대한 원칙적 정책이 필요합니다.
- 정보 가치 (Value-of-Information) 기준을 사용하여 불확실성 감소와 마찰 비용 간의 균형을 맞춥니다.
- "지능적 불복종 (Intelligent Disobedience)" 훈련을 통해 위험한 결정을 정정하는 능력을 기르고, 헌법적 원칙 (Constitutional Principles) 을 통해 목표 형성이 인간 의도에서 벗어나지 않도록 제한합니다.

4. 결과 및 기대 효과 (Results & Significance)

현재 상태: 논문은 아직 구체적인 실험 결과 (수치 데이터) 를 제시하기보다는, 새로운 연구 방향을 제시하는 연구 제안서 (Research Agenda) 형태입니다.
기대 효과:
- 검증 비용 감소: 인간이 AI 의 제안을 매번 검증할 필요성이 줄어들고, 신뢰가 실제 능력에 맞게 보정됩니다.
- 생산적 이견: AI 가 인간의 편향을 수정하거나 새로운 관점을 제시하여 팀의 전체적 성능을 개별 최상위 에이전트보다 높일 수 있습니다.
- 지속적 학습: 세션 간 공유된 모델을 통해 에이전트가 인간의 전문성과 맥락을 장기적으로 학습하고 적응합니다.
학문적 의의:
- 인간-AI 상호작용 연구, 인지 과학 (의미 형성 이론), 대규모 훈련 파이프라인을 통합합니다.
- MAS(다중 에이전트 시스템) 연구의 패러다임을 '정답을 주는 오라클'에서 '함께 추론하는 팀메이트'로 전환합니다.
- 단순한 인터페이스 개선이 아닌, 에이전트의 내부 상태 (세계 모델, 목표) 를 인간과 정렬시키는 근본적인 시스템 설계를 요구합니다.

5. 결론

이 논문은 인간-AI 팀의 보완성 격차를 해결하기 위해 협동적 인과적 의미 형성 (CCS) 이 필수적이라고 주장합니다. 단순히 더 정확한 답변을 생성하는 것을 넘어, AI 가 인간의 변화하는 정신 모델을 추적하고, 공유된 인과 구조를 함께 구축하며, 장기적인 목표를 협력적으로 조정할 수 있도록 훈련 생태계, 측정 방법, 아키텍처를 재설계해야 함을 강조합니다. 이는 고위험 의사결정 분야에서 AI 를 단순 도구가 아닌 진정한 협력 파트너로 만드는 핵심 열쇠입니다.