Talk2AI: A Longitudinal Dataset of Human--AI Persuasive Conversations
Talk2AI 는 2025 년 봄에 770 명의 이탈리아 성인을 대상으로 기후 변화, 수학 불안, 건강 오정보 등 세 가지 사회적 주제를 놓고 4 주에 걸쳐 수행된 3,080 건의 인간-AI 설득 대화와 관련된 풍부한 맥락 데이터를 포함하는 대규모 종단적 데이터셋입니다.
원저자:Alexis Carrillo, Enrique Taietta, Ali Aghazadeh Ardebili, Giuseppe Alessandro Veltri, Massimo Stella
강사 (AI): 각 참가자는 서로 다른 4 명의 'AI 강사' 중 하나를 배정받았습니다. (GPT-4o, Claude, DeepSeek, Mistral 등 최신 AI 모델들)
주제: 캠프에서는 세 가지 뜨거운 주제 중 하나를 골라 토론합니다.
🌍 기후 변화
📐 수학 불안 (수학을 싫어하는 마음)
🏥 건강 정보 오해 (가짜 뉴스)
진행 방식: 참가자들은 매주 1 회씩, 총 4 주 동안 AI 강사와 10 번의 주고받기 (대화) 를 합니다. 마치 친구와 카톡을 하듯이 말이죠.
📝 이 연구가 왜 특별한가요? (기존 연구와의 차이)
기존 연구들은 보통 **"AI 한 번 만나고 바로 의견이 바뀌었나?"**라고 물었습니다. 마치 한 번의 시험을 보고 성적을 매기는 것과 비슷하죠.
하지만 이 연구는 **"시간이 흐르면서 AI 와 대화할수록 내 생각이 어떻게 변해가는지"**를 지켜봅니다.
비유: 다른 연구가 **'스냅샷 (순간 사진)'**이라면, Talk2AI 는 **'4 주간의 타임랩스 영상'**을 찍은 것과 같습니다.
AI 가 내 마음을 바꾸는 과정이 한 번에 일어나는 게 아니라, 대화의 깊이에 따라 어떻게 서서히 변하는지, 혹은 내 의견이 얼마나 단단하게 유지되는지를 관찰합니다.
🔍 연구는 어떻게 진행되었나요? (단계별 설명)
연구 과정은 마치 정교한 요리 과정과 같습니다.
재료 준비 (참가자 모집): 이탈리아 전역의 다양한 사람 (연령, 직업, 성별 등) 을 골고루 모았습니다.
선별 과정 (데이터 정제): 처음에는 2,600 명 이상이 등록했지만, 연구의 질을 높이기 위해 꼼꼼히 걸러냈습니다.
대화 중간에 끊긴 사람, 성실하게 답하지 않은 사람 등을 제외하고, 최종적으로 770 명의 '완벽한 참가자'만 남겼습니다.
대화 기록: 참가자와 AI 의 모든 대화 내용 (약 30,800 개의 문장) 을 기록했습니다.
설문 조사: 대화 전후로 참가자의 성격, AI 에 대한 신뢰도, 그리고 "내 의견이 얼마나 변했나요?"에 대한 질문을 받았습니다.
재미있는 점: "이 주제에 대해 100 유로 중 얼마를 기부할 의사가 있나요?"라는 질문을 통해, 설득이 실제 행동 (기부) 으로 이어지는지 측정하기도 했습니다.
💡 이 데이터로 무엇을 할 수 있나요?
이 거대한 대화 데이터는 마치 보물상자와 같습니다. 연구자들은 이 상자를 열어 다음과 같은 보물을 찾아낼 수 있습니다.
누가 AI 에게 가장 잘 넘어가는가? (성격, 나이, AI 지식 등에 따라 설득당하는 정도가 다름)
어떤 AI 가 가장 설득력이 있는가? (GPT-4o 와 Claude 중 누가 더 설득력이 좋은지 비교)
시간이 지날수록 의견이 어떻게 변하는가? (1 주일 차와 4 주일 차의 변화를 추적)
AI 가 인간처럼 느껴질 때? (사람이 AI 라고 생각할 때와 인간이라고 생각할 때의 반응 차이)
🚀 결론: 왜 이 연구가 중요할까요?
우리는 이제 AI 와 매일 대화하며 살아가고 있습니다. 이 연구는 **"AI 가 우리의 생각을 어떻게, 얼마나 바꾸고 있는지"**를 과학적으로 증명하는 첫걸음입니다.
마치 거대한 실험실에서 AI 와 인간의 관계를 관찰함으로써, 앞으로 우리가 AI 와 어떻게 더 건강하게 소통하고, AI 의 영향력을 어떻게 이해해야 할지에 대한 중요한 지도를 그려준 셈입니다.
한 줄 요약:
"이 연구는 770 명의 이탈리아 사람들이 4 주 동안 AI 와 뜨거운 토론을 벌이며, 시간이 흐르면서 AI 가 인간의 마음을 어떻게 설득하고 바꾸는지를 꼼꼼히 기록한 '거대한 대화 지도'를 만든 것입니다."
1. 연구 배경 및 문제 제기 (Problem)
배경: 대규모 언어 모델 (LLM) 이 복잡한 정보 탐색 및 사회적, 정치적 논의의 일상적인 인터페이스로 급부상함에 따라, AI 와의 반복적 상호작용이 인간의 신념 체계와 인지 구조에 미치는 영향에 대한 연구가 필요해졌습니다.
문제점:
기존 연구들은 주로 단발성 (one-shot) 상호작용 후의 즉각적인 태도 변화에 집중하여, 설득을 다차원적이고 시간적 과정으로 보지 못했습니다.
실험 설계상 참여자가 사전에 지정된 주장에 대해 논쟁하도록 강요하는 경우가 많아, 참여자의 실제 기저 신념 (intrinsic baseline) 을 반영하지 못했습니다.
특정 의미적 내용과 구문적 구조가 시간에 따라 설득력에 어떻게 기여하는지 분리하여 분석할 수 있는 고해상도 데이터의 부재가 있었습니다.
목표: AI 가 지속적인 설득 에이전트로서 어떻게 작용하는지, 그리고 대화 맥락, 시스템 속성, 수신자 특성이 설득에 미치는 영향을 장기적 관점에서 분석할 수 있는 데이터셋 구축.
2. 방법론 (Methodology)
연구 설계:
종단 연구 (Longitudinal Study): 2025 년 봄, 이탈리아 성인 770 명을 대상으로 4 주 동안 4 회 (Wave) 에 걸쳐 진행된 수내 설계 (Within-subject design) 연구입니다.
참여자: 2,644 명의 등록자 중 엄격한 품질 관리 기준을 통과한 770 명의 프로필이 완성된 성인 (18~69 세) 이 최종 코호트로 선정되었습니다.
할당: 참여자는 무작위로 4 가지 LLM 아키텍처 중 하나 (GPT-4o, Claude 3.7 Sonnet, DeepSeek-chat V3, Mistral Large) 와 3 가지 사회적 주제 (기후 변화, 수학 불안, 건강 오정보) 중 하나에 배정되었습니다. 모든 세션에서 모델과 주제는 동일하게 유지되었습니다.
데이터 수집 프로세스:
등록 및 인구통계: 성별, 연령, 교육 수준, 소득, AI 인지도 등 인구통계학적 데이터 및 주관적/객관적 경제적 지위 수집.
심리 측정 프로파일링: 각 세션 전후로 'LLM 에 대한 신뢰 (TILLMI)', '인지 욕구 (Need for Cognition)', 'Big Five 성격 특성' 등을 5 점 리커트 척도로 측정.
대화 상호작용:
총 10 턴 (사용자 10 회 입력 + AI 10 회 응답) 의 대화 수행.
제약 조건: 사용자의 첫 메시지는 최소 50 단어 이상이어야 하며, 'flashcards'를 통해 논리적 반박, 추가 요구, AI 의 확신 의문 등을 유도하여 수동적 동의를 방지.
AI 프롬프트: AI 는 사용자의 논리적 오류를 지적하고, 약 100 단어 내외로 간결하게 응답하며, 주제 변경을 허용하지 않도록 프롬프트되었습니다.
피드백 수집: 세션 후 설득 관련 4 가지 정량 지표 (신념의 안정성, 의견 변화, 인간성 지각, 개인적 기부 의향) 와 50 단어 이상의 정성적 피드백 수집.
데이터 전처리 및 필터링:
Filter 1 (세션 완성도): 20 개의 메시지 (10 턴) 가 모두 존재하지 않는 세션 제거.
Filter 2 (변동성 확인): 심리 측정 항목에서 응답 변동성이 0 인 경우 (straight-lining, 무작위 응답) 제거.
Filter 3 (누적 완료도): 4 회 세션과 모든 설문이 완료된 770 명만 최종 데이터셋으로 선정.
3. 주요 기여 (Key Contributions)
Talk2AI 데이터셋 공개:
총 3,080 개의 대화 세션 (30,800 개의 턴) 으로 구성된 대규모 종단 데이터셋.
파일 구성:
talk2ai_registries.json: 인구통계 및 실험 조건 메타데이터.
talk2ai_psyscales.json: 심리 측정 및 설득 피드백 데이터 (6,160 개 레코드).
talk2ai_conversations.json: 원본 이탈리아어 대화 로그 (3,080 개 레코드).
data_table.csv: 통계 분석을 위한 집계된 테이블 (표준화된 요인 점수 포함).
다국어 번역: 영어, 스페인어, 네덜란드어, 독일어, 포르투갈어, 프랑스어로 번역된 대화 로그 제공.
기술적 검증 (Technical Validation):
탐색적 요인 분석 (EFA) 및 확인적 요인 분석 (CFA): TILLMI(7 항목, 1 요인) 와 NFC(6 항목, 2 요인) 척도의 구조적 타당성을 검증.
종단 측정 불변성 (Longitudinal Measurement Invariance): 4 회에 걸친 측정에서 요인 구조, 로딩, 절편이 동일하게 유지됨을 확인 (Scalar Invariance 달성), 시간에 따른 잠재 변수 비교의 유효성 확보.
연구 도구: 설득 메커니즘, 논증 모델링, NLP 기반 특징 추출, 예측 분석 등을 위한 다양한 분석 프레임워크 제공.
4. 결과 및 검증 (Results & Validation)
데이터 품질: 초기 2,644 명에서 770 명으로 엄격하게 선별되어, 불완전한 응답과 무작위 응답이 제거된 고품질 코호트 확보.
심리 측정 도구 타당성:
TILLMI: 7 항목 단일 요인 모델이 우수한 적합도 (CFI=.998, RMSEA=.043) 를 보임.
NFC: 2 요인 모델 (NFC_seek, NFC_diligence) 이 1 요인 모델보다 우월한 적합도를 보임.
불변성: 모든 4 회 세션에서 TILLMI 와 NFC 척도의 측정 불변성이 확인되어, 시간에 따른 신념 변화 분석이 통계적으로 타당함.
데이터 활용성: 인구통계, 심리 특성, LLM 아키텍처, 대화 텍스트, 설득 피드백 간의 다차원적 연결이 가능하여, 개인차에 따른 AI 수용성 모델링 및 설득 전략 분석에 즉시 활용 가능.
5. 의의 및 중요성 (Significance)
방법론적 혁신: 설득을 단순한 결과 지점이 아닌, 시간의 흐름에 따라 진화하는 다차원적 과정으로 분석할 수 있는 최초의 대규모 종단 데이터셋 중 하나입니다.
AI 설득 메커니즘 규명: 특정 LLM 아키텍처와 대화 전략이 인간의 신념 안정성, 인간성 지각, 행동 의도 (기부 등) 에 미치는 미세한 영향을 규명할 수 있는 기반을 마련했습니다.
학제간 연구 지원: 심리학, 인지과학, 컴퓨터 과학 (NLP), 사회과학 연구자들이 AI 와 인간의 상호작용을 심층적으로 연구할 수 있는 공통의 표준 데이터셋을 제공합니다.
실용적 적용: 알고리즘 설득의 윤리적 문제, AI 기반 정보 조작 대응, 그리고 인간 중심의 AI 인터페이스 설계에 대한 정책 및 기술적 통찰을 제공할 수 있습니다.
이 데이터셋은 AI 가 인간의 사고와 신념을 어떻게 변화시키는지에 대한 이해를 심화시키고, 미래의 인간-AI 상호작용 연구의 표준으로 자리 잡을 것으로 기대됩니다.