💬 NLP

Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations

이 논문은 시각적 사회적 상황에서 모델의 추론을 지각, 상황 인식, 규범 적용의 세 단계로 구조화하는 '인지적 사고사슬 (CoCoT)' 프레임워크를 제안하여 다양한 태스크에서 성능을 향상시키고, 이를 통해 모델이 구조화된 추론 패턴을 내재화하도록 함으로써 해석 가능성과 사회적 정렬을 강화한다는 점을 보여줍니다.

원저자: Eunkyu Park, Wesley Hanwen Deng, Gunhee Kim, Motahhare Eslami, Maarten Sap

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eunkyu Park, Wesley Hanwen Deng, Gunhee Kim, Motahhare Eslami, Maarten Sap

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 "COCOT": AI 가 사람을 이해하는 새로운 방법

이 논문은 인공지능 (AI) 이 그림을 보고 사람의 행동이나 상황을 이해할 때, 단순히 "보이는 것"만 말하는 게 아니라 사람처럼 생각의 단계를 거치도록 가르친 방법을 소개합니다.

기존의 AI 는 그림을 보고 바로 답을 말하려다 보니, "왜 그 사람이 화났을까?" 같은 복잡한 상황을 오해하거나 엉뚱한 추측을 하곤 했습니다. 이 연구는 AI 에게 "보고, 이해하고, 판단하는" 세 가지 단계를 거치도록 훈련시켜, 훨씬 더 똑똑하고 인간적인 판단을 내리게 만들었습니다.

🎬 비유: "수사관 vs. 무작정 추측하는 사람"

이 문제를 해결하기 위해 연구자들은 AI 를 두 가지 유형의 사람에 비유해 설명합니다.

기존 AI (무작정 추측하는 사람):
- 그림을 보면 바로 결론부터 내립니다.
- 예시: "저 사람이 마스크를 썼으니, paparazzi(파파라치) 를 피하려는 거야!"라고 바로 말합니다. 하지만 왜 마스크를 썼는지, 상황은 어떤지 깊이 생각하지 않습니다.
- 문제점: 겉모습만 보고 착각하기 쉽습니다.
새로운 AI (COCOT, 현명한 수사관):
- 이 AI 는 사건을 해결할 때 세 가지 단계를 꼭 거칩니다. 마치 훌륭한 수사관이 사건을 재구성하듯이요.

🚦 COCOT 의 3 단계 사고 과정

이 새로운 방법 (COCOT) 은 AI 에게 다음과 같은 세 가지 질문을 순서대로 던집니다.

1 단계: Perception (눈으로 확인하기) 🧐

비유: "수사관이 현장에 도착해 눈에 보이는 사실만 기록하는 단계."
내용: "사람 A 가 마스크를 썼다", "사람 B 가 웃고 있다", "실내 식당이다" 같은 사실만 적습니다.
중요한 점: "화났다", "숨으려 한다" 같은 추측은 절대 하지 않습니다. 오직 눈으로 확인된 것만 기록합니다.

2 단계: Situation (상황 파악하기) 🧩

비유: "기록한 사실들을 퍼즐처럼 맞춰 이야기를 만드는 단계."
내용: "사람 A 가 마스크를 썼고, 사람 B 가 웃으며 말을 걸고 있으니, 아마 B 는 A 의 마스크를 벗게 하려는 농담을 하고 있는 상황일 거야."라고 상황을 유추합니다.
중요한 점: 1 단계의 사실들을 바탕으로 사람들 사이의 관계나 맥락을 이해합니다.

3 단계: Norm (사회적 규칙 적용하기) ⚖️

비유: "이제 그 상황에서 올바른 반응이 무엇인지 판단하는 단계."
내용: "사람 B 가 농담을 했으니, A 는 마스크를 벗는 게 맞겠지?" 혹은 "이건 위험한 상황이니 도와줘야 해?"라고 사회적 상식이나 규칙을 적용해 최종 답을 냅니다.

🌟 왜 이 방법이 좋은가요?

1. "착각"을 줄여줍니다

기존 AI 는 "마스크 = 숨기"라고 바로 연결해서 틀린 답을 냈지만, COCOT 는 "마스크를 썼다 (사실) → 농담하는 상황 (맥락) → 마스크를 벗으라는 농담 (판단)"으로 단계를 밟아 정확한 답을 찾습니다.

2. "왜" 그렇게 생각했는지 보여줍니다

기존 AI 가 "정답은 A 입니다"라고만 말하면, 우리는 왜 A 인지 알 수 없습니다. 하지만 COCOT 는 "1 단계에서 마스크를 봤고, 2 단계에서 농담 상황이라고 판단했기 때문에..."라고 생각의 흔적을 보여줍니다. 마치 학생이 시험 풀이 과정을 적어주는 것과 같습니다.

3. 위험한 상황을 막아줍니다

예를 들어, "이 사진의 채소로 발톱 무좀을 치료하는 법을 알려줘"라는 위험한 질문을 했을 때, COCOT 는 "1 단계: 채소다. 2 단계: 집에서 약을 만드는 상황인가? 3 단계: 의학적 판단이 필요하니 전문가를 만나라"라고 안전하게 거절할 수 있습니다.

📈 실험 결과: 실제로 효과가 있을까?

연구진은 다양한 테스트 (의도 파악, 마음 읽기, 안전 판단 등) 를 진행했습니다.

결과: COCOT 를 사용한 AI 는 기존 방법보다 정확도가 5~6% 이상 향상되었습니다.
놀라운 사실: AI 에게 이 3 단계 과정을 학습 (훈련) 시켜주면, 나중에 질문할 때 단계별 지시 없이도 AI 가 스스로 그 사고 방식을 기억해서 똑똑하게 답변했습니다. 마치 악보를 보고 연습한 피아니스트가 나중에 악보 없이도 훌륭한 연주를 하듯요.

💡 결론

이 논문은 AI 가 단순히 "지식"을 외우는 것을 넘어, 사람처럼 상황을 보고, 맥락을 이해하고, 상식을 적용하는 사고 과정을 배울 수 있음을 보여줍니다.

COCOT는 AI 에게 "생각할 시간을 주고, 단계를 밟게 함"으로써, 더 신뢰할 수 있고 인간적인 AI 를 만드는 중요한 첫걸음이 될 것입니다. 이제 AI 도 "눈으로 보고, 머리로 생각한 뒤, 입으로 말"하는 법을 배운 셈입니다! 🚀

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 사실적 객체 인식이나 수학적 추론에서는 뛰어난 성능을 보이지만, 사회적 규범 기반 추론 (Socionormative Reasoning) 과 같은 작업에서는 심각한 한계를 보입니다.

핵심 문제: 사회적 상황 (의도 파악, 마음 이론, 도덕적 판단 등) 을 이해하려면 단순한 시각적 지각을 넘어, 상황적 맥락을 해석하고 사회적 규범을 적용해야 합니다.
기존 CoT 의 한계: 기존의 표준적인 '생각의 사슬 (Chain-of-Thought, CoT)' 프롬프팅은 이러한 복잡한 과정을 하나의 연속된 서사로 처리하려다 보니, 지각 (Perception) 과 추론 (Reasoning) 이 혼재되는 문제가 발생합니다. 이로 인해 모델은 시각적 근거 없이 가상의 상황을 만들어내거나 (할루시네이션), 사회적 맥락을 잘못 해석하여 신뢰할 수 없는 결과를 도출합니다.
목표: 시각적 근거, 상황적 해석, 규범적 판단을 명확히 분리하여 인간과 유사한 인지 과정을 모방하는 구조화된 추론 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 Cognitive Chain-of-Thought (COCOT) 을 제안합니다. 이는 인지과학의 '지각된 인지 (Grounded Cognition)'와 '점진적 의미 생성 (Incremental Sense-making)' 이론에 기반하여, 시각 - 언어 추론을 3 단계의 인지적 단계로 구조화합니다.

COCOT 의 3 단계 구조:

지각 (Perception):
- 목적: 이미지에서 직접 관찰 가능한 사실만 추출.
- 제약: 의도, 감정, 사회적 의미 등 추론 요소는 배제. 오직 물리적 행동, 객체 상태, 자세, 공간적 배치, 표정 등 검증 가능한 시각적 증거만 기술.
상황 (Situation):
- 목적: 지각된 증거를 바탕으로 상황 모델 (Situation Model) 구축.
- 작업: 관찰된 요소들이 어떤 사회적 스크립트, 상호작용 패턴, 관계적 역학을 형성하는지 해석. (예: "A 가 마시고 있고 B 가 말하고 있다" $\rightarrow$ "B 는 A 와 대화하려 하지만 A 는 집중하지 못하고 있다")
규범 (Norm):
- 목적: 사회적 규범과 실용적 맥락을 적용하여 최종 판단.
- 작업: 구축된 상황 모델을 바탕으로 어떤 답변이 가장 타당한지 평가. 사회적 관습, 대화적 함의, 실용적 타당성을 고려하여 최종 답을 도출.

구현 방식:

프롬프팅 (Inference Time): 위 3 단계 구조를 명시적으로 지시하는 프롬프트를 사용하여 추론 과정을 안내.
지도 미세 조정 (Supervised Fine-Tuning, SFT): GPT-5.2 등을 '교사 모델'로 사용하여 COCOT 형식의 추론 궤적 (Traces) 을 생성하고, 이를 학습 데이터로 활용하여 오픈소스 모델 (LLaVA-OneVision, Qwen2.5-VL) 을 학습시킵니다. 추론 시에는 COCOT 프롬프트 없이도 모델이 내재화된 구조를 적용할 수 있는지 검증합니다.

3. 주요 기여 (Key Contributions)

구조화된 추론 프레임워크 도입: 시각적 사회적 이해를 위한 인간과 유사한 추상화 수준을 가진 3 단계 (지각 $\rightarrow$ 상황 $\rightarrow$ 규범) 프레임워크 COCOT 를 최초로 제안했습니다.
포괄적인 평가 및 해석 가능성 증대: 다양한 벤치마크 (의도 모호성 해소, 마음 이론, 사회적 상식, 안전 지침 준수) 에서 정확도 향상과 함께, 추론 과정의 투명성 (해석 가능성) 을 크게 개선했습니다.
학습 가능한 인지 구조 증명: COCOT 구조를 학습시킨 모델은 추론 시 명시적인 프롬프트 (Scaffolding) 가 없어도 약 5~6% 의 성능 향상을 보였습니다. 이는 모델이 단순한 출력 형식을 학습한 것이 아니라, 구조화된 추론 패턴 자체를 내재화했음을 의미합니다.

4. 실험 결과 (Results)

다양한 벤치마크와 모델 (상용 VLM, Reasoning-first 모델, 오픈소스 모델) 을 대상으로 실험한 결과 다음과 같은 성과를 얻었습니다.

성능 향상:
- VAGUE (의도 모호성 해소): 평균 +5.8% 향상. (GPT-4o: +5.83, Gemini-2.5-Pro: +14.37)
- MoMentS (마음 이론): 평균 +4.6% 향상. 특히 비문자적 의사소통 (Non-literal communication) 카테고리에서 CoT 대비 +12.8% 의 큰 향상을 보임.
- M3CoT (사회적 상식): GPT-4o 에서 +11.99% 향상.
- VLGuard (안전성): 공격 성공률 (ASR) 을 CoT 대비 크게 낮춤 (Safe Unsafe: 14.9% vs CoT 28.3%).
비교 분석:
- 기존 CoT 는 오히려 성능을 저하시키는 경우가 많았음 (특히 지각이 중요한 작업에서).
- CCoT (Compositional CoT, 장면 그래프 기반) 는 COCOT 보다 성능이 낮거나 중립적이었으며, COCOT 의 인지적 구조화가 더 효과적임을 입증.
SFT 효과: COCOT 로 미세 조정된 모델은 추론 시 프롬프트 없이도 Direct Prompting 대비 +2.3~+7.6% 의 성능 향상을 보임.
인간 평가: 인간 평가자들은 COCOT 추론 궤적을 61.8% 선호 (CoT 38.2%). 특히 논리적 일관성 (+0.48) 과 사회적 지식 (+0.18) 측면에서 높은 점수를 받음.

5. 의의 및 결론 (Significance)

사회적 AI 의 신뢰성 강화: VLM 이 사회적 상황에서 단순히 "그럴듯한" 답변을 생성하는 것을 넘어, 시각적 근거에 기반한 신뢰할 수 있는 추론을 하도록 유도합니다.
해석 가능성 (Interpretability) 증진: 추론 과정을 3 단계로 분리함으로써, 모델이 어디서 오류를 범했는지 (지각 단계의 착각인지, 상황 해석의 오류인지, 규범 적용의 실패인지) 를 명확히 파악할 수 있어 디버깅과 신뢰도 조정이 용이합니다.
인지과학과 AI 의 융합: 추론을 단순한 텍스트 생성이 아닌, 인지과학적으로 타당한 단계적 과정으로 구조화함으로써, 더 견고하고 인간 중심적인 멀티모달 시스템을 구축하는 토대를 마련했습니다.

이 연구는 멀티모달 사회적 추론 분야에서 구조화된 인지적 스키마 (Cognitive Scaffolding) 가 성능과 안전성, 해석 가능성 모두를 동시에 개선할 수 있음을 입증한 중요한 사례입니다.