Evaluating LLM Alignment With Human Trust Models

이 논문은 EleutherAI/gpt-j-6B 모델의 내부 활성화 공간에서 신뢰 개념을 분석한 결과, 해당 모델의 신뢰 표현이 인간 신뢰 모델 중 Castelfranchi 사회인지 모델과 가장 밀접하게 정렬되어 있음을 밝힘으로써 인간-AI 협업 시스템 설계에 중요한 통찰을 제공합니다.

핵심

1. 연구의 배경: AI 의 '마음'은 어떻게 생겼을까?

우리는 AI 가 대화를 잘하고, 심지어 친구처럼 행동하는 것을 봅니다. 하지만 AI 가 **"신뢰 (Trust)"**라는 개념을 내부적으로 어떻게 정의하고 있는지, 그 '생각의 구조'는 우리가 모릅니다.

• 비유: AI 는 거대한 도서관 같습니다. 수많은 책 (데이터) 을 읽었지만, 그 책들이 책장 (내부 메모리) 에 어떻게 정리되어 있는지 우리는 알 수 없습니다. 이 연구는 도서관의 책장 구조를 직접 들여다보는 '백색 상자 (White-box)' 분석입니다.

2. 실험 방법: AI 의 '감정 나침반' 만들기

연구진은 AI 가 '신뢰'와 관련된 단어들을 어떻게 느끼는지 측정하기 위해 두 가지 단계를 거쳤습니다.

1 단계: AI 의 '감정 지도' 그리기

먼저, AI 가 '기쁨', '분노', '신뢰' 같은 60 가지 감정과 개념을 어떻게 구분하는지 확인했습니다.

• 비유: AI 에게 "기쁜 이야기"와 "슬픈 이야기"를 각각 100 개씩 만들어달라고 시켰습니다. 그리고 AI 가 그 이야기를 생각할 때 뇌 (내부 활성화 공간) 에서 어떤 신호가 켜지는지 기록했습니다.
• 결과: AI 는 비슷한 개념들 (예: '기쁨'과 '행복') 은 서로 가깝게 배치하고, 반대 개념들 (예: '기쁨'과 '분노') 은 멀리 떨어뜨려 놓는다는 것을 발견했습니다. 마치 감정들이 모여 사는 마을처럼, 비슷한 감정은 이웃하고 반대 감정은 멀리 사는 것입니다.

2 단계: AI 가 믿는 '신뢰의 지도' 찾기

이제 핵심입니다. 인간 사회학자들은 '신뢰'를 설명하는 여러 가지 이론 (지도) 을 가지고 있습니다.

• 마쉬 (Marsh) 모델: 신뢰는 과거의 경험과 계산입니다.
• 메이어 (Mayer) 모델: 신뢰는 능력, 선의, 정직함의 조합입니다.
• 카스텔프란치 (Castelfranchi) 모델: 신뢰는 상대방의 능력과 의지, 그리고 예측 가능성에 대한 '생각 (믿음)'입니다.

연구진은 AI 가 이 중 어떤 '지도'를 가장 많이 따라 다니는지 확인했습니다.

• 방법: AI 가 '신뢰'라는 개념을 생각할 때, 뇌 속 신호가 '능력'이나 '의지' 같은 다른 개념의 신호와 얼마나 비슷하게 반응하는지 (코사인 유사도) 측정했습니다.

3. 연구 결과: AI 는 누구의 말을 가장 잘 들을까?

결과는 놀라웠습니다. AI 의 뇌 속 '신뢰' 개념은 카스텔프란치 (Castelfranchi) 모델과 가장 비슷하게 일치했습니다.

• 비유: AI 는 신뢰를 단순히 "이 사람이 과거에 나를 도와줬으니 (계산)"라고만 보지 않았습니다. 대신, **"이 사람은 능력이 있고, 나를 돕고 싶어하며, 앞으로 어떻게 행동할지 예측할 수 있구나 (생각과 믿음)"**라고 이해하고 있었습니다.
• 2 위: 마쉬 모델이 그 뒤를 이었습니다.
• 흥미로운 점: 인간 이론 중 하나인 '메이어 모델'에서는 '위험 (Risk)'을 신뢰의 필수 요소로 보지만, AI 는 오히려 '신뢰'와 '위험'을 서로 반대되는 개념으로 인식하고 있었습니다. AI 는 "위험을 감수해야 신뢰가 생긴다"는 논리보다는, "위험은 신뢰와 거리가 먼 것"으로 이해하고 있는 것입니다.

4. 이 연구가 왜 중요한가?

이 연구는 AI 가 단순히 말을 잘하는 게 아니라, 사회적 관계와 신뢰를 계산하는 복잡한 '뇌 구조'를 가지고 있음을 증명했습니다.

• 실용적 의미: 우리는 이제 AI 의 뇌 속에 '신뢰'와 관련된 신호를 찾아내어, AI 가 더 신뢰할 수 있는 행동을 하도록 유도할 수 있습니다.
  • 예: AI 가 코치와 선수, 혹은 의사와 환자 사이에서 신뢰를 쌓는 대화를 할 때, 우리가 원하는 '신뢰'의 개념 (예: 능력과 의지 강조) 을 AI 의 뇌에 주입하여 더 나은 반응을 이끌어낼 수 있습니다.

요약

이 논문은 **"AI 가 인간처럼 '신뢰'를 어떻게 생각하는지 그 뇌의 지도를 그려보았다"**는 내용입니다.
그 결과, AI 는 **상대방의 능력과 의지, 예측 가능성을 중시하는 '생각 기반의 신뢰 (카스텔프란치 모델)'**를 가장 잘 이해하고 있다는 것을 발견했습니다. 이는 앞으로 AI 와 인간이 더 자연스럽게 협력하고 신뢰를 쌓는 시스템을 만드는 데 중요한 첫걸음이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 신뢰의 중요성: 신뢰는 인간 간 상호작용 및 다중 에이전트 시스템 (MAS) 에서 효과적인 협력, 불확실성 감소, 의사결정 안내에 핵심적인 역할을 합니다.
• 현재의 한계: 심리학, 사회학 등 다양한 분야에서 신뢰가 광범위하게 연구되었으나, 대규모 언어 모델 (LLM) 이 내부적으로 신뢰를 어떻게 개념화하고 추론하는지에 대한 이해는 매우 부족합니다.
• 블랙박스 접근의 부족: 기존 연구는 LLM 의 입력과 출력 (블랙박스 관점) 에만 초점을 맞춰 신뢰 추론 능력을 평가했습니다. 그러나 LLM 의 내부 활성화 패턴 (화이트박스 관점) 을 통해 신뢰 관련 인지가 어떻게 표현되는지에 대한 연구는 전무했습니다.
• 연구 목표: LLM 의 잠재 공간 (latent space) 에서 신뢰가 어떻게 표현되며, 이것이 기존의 인간 신뢰 이론 모델들과 얼마나 정렬 (alignment) 되어 있는지를 분석하는 프레임워크를 제시하는 것.

2. 방법론 (Methodology)

이 연구는 EleutherAI/gpt-j-6B 모델을 사용하여 화이트박스 분석을 수행했습니다. 주요 단계는 다음과 같습니다.

A. 대비 프롬프팅 (Contrastive Prompting) 및 임베딩 생성

• 개념 추출: 5 가지 기존 신뢰 모델 (Marsh, Mayer, McAllister, McKnight, Castelfranchi) 에서 도출된 신뢰 관련 개념들을 선정했습니다.
• 양방향 관계 설정: 신뢰는 방향성을 가지므로 (A 가 B 를 신뢰함 vs B 가 A 를 신뢰함), 각 개념을 두 가지 방향 (예: Katherine→Alice, Alice→Katherine) 으로 정의하여 총 60 개의 감정/관계 개념을 생성했습니다.
• 프롬프트 설계: 일관된 배경 ("동료 관계") 을 유지하면서, 특정 개념 (예: '의지', '신뢰') 을 긍정적으로 나타내는 문장과 부정적으로 나타내는 문장을 대비시켜 생성했습니다.
• 벡터 추출: 생성된 100 개의 긍정/부정 스토리를 모델에 입력하여 각 레이어의 숨겨진 표현 (hidden states) 을 추출했습니다.
  • 각 레이어에서 긍정 문장의 평균 벡터와 부정 문장의 평균 벡터를 계산한 후, 두 벡터의 차이 (Difference) 를 구하여 해당 개념의 **페르소나 벡터 (Persona Vector)**를 생성했습니다.
  • 최종적으로 28 개 레이어의 벡터를 평균화하여 단일 개념 임베딩 벡터를 도출했습니다.

B. 유사도 임계값 설정 (Similarity Threshold)

• 일반적 감정 개념 분석: 30 가지 긍정/부정 감정 개념 (총 60 개 방향성 개념) 간의 쌍별 코사인 유사도 (Cosine Similarity) 를 계산했습니다.
• 임계값 도출: 유사도 분포의 히스토그램을 분석하여, 상위 20% 에 해당하는 0.6을 유의미한 개념 정렬을 판단하는 임계값으로 설정했습니다.

C. 신뢰 모델 정렬 측정 (Quantifying Alignment)

• 비교 분석: 생성된 '신뢰 (Trust)' 벡터와 각 신뢰 모델에 포함된 관련 개념 벡터 간의 코사인 유사도를 계산했습니다.
• 평가 지표:
  1. 평균 코사인 유사도: 각 모델에 속한 개념들의 유사도 평균을 계산.
  2. 임계값 초과 개념 수: 설정된 임계값 (0.6) 을 넘는 개념 쌍의 개수를 세어 정렬 정도를 평가.

3. 주요 결과 (Results)

• 내부 표현 구조: LLM 의 잠재 공간은 반대되는 감정 개념을 분리하고 관련 개념을 군집화하는 방식으로 작동함이 확인되었습니다.
• 모델별 정렬 순위:
  1. Castelfranchi 모델 (가장 높은 정렬): 평균 코사인 유사도 0.7303, 임계값 초과 개념 8 개.
     • 이 모델은 신뢰를 능력, 의지, 예측 가능성에 대한 신념으로 정의하는 사회인지적 (socio-cognitive) 모델입니다. LLM 의 내부 표현이 이 이론과 가장 잘 일치함을 보여줍니다.
  2. Marsh 모델 (두 번째): 평균 코사인 유사도 0.6973, 임계값 초과 개념 7 개.
  3. 기타 모델: McAllister (0.6704), McKnight (0.6640), Mayer (0.4530) 순으로 정렬도가 낮았습니다.
• 특이 사항 (Mayer 모델의 불일치):
  • Mayer 모델에서는 '위험 (Risk)'과 '자비 (Benevolence)'가 신뢰와 긍정적으로 연관되어 있어야 하지만, LLM 의 임베딩에서는 음의 코사인 유사도를 보였습니다.
  • 이는 LLM 이 인간 이론가들이 정의한 '위험 감수'나 '무조건적 선의'와 같은 추상적 개념을 신뢰와 동일시하지 않음을 시사하며, LLM 의 내부 논리와 인간 이론 간의 간극을 드러냅니다.

4. 주요 기여 (Key Contributions)

1. 화이트박스 신뢰 분석 프레임워크: LLM 의 내부 활성화 공간을 직접 분석하여 신뢰 개념이 어떻게 인코딩되는지 최초로 체계적으로 규명했습니다.
2. 이론적 모델과의 정렬 검증: 5 가지 주요 인간 신뢰 모델을 LLM 의 내부 표현과 비교하여, Castelfranchi 의 사회인지 모델이 LLM 의 내재적 신뢰 표현과 가장 일치함을 실증했습니다.
3. 개념 간 관계의 정량화: 신뢰와 관련된 추상적 개념들 (유능성, 의지, 약속 등) 간의 관계를 임베딩 공간에서 정량적으로 측정 가능한 지표로 변환했습니다.

5. 의의 및 시사점 (Significance)

• 신뢰 인식형 AI 시스템 설계: LLM 이 신뢰를 어떻게 내부적으로 표현하는지 이해함으로써, 신뢰에 민감한 (trust-aware) AI 에이전트 개발이 가능해집니다.
• 행동 유도 (Steering): 신뢰 모델 (예: Castelfranchi 모델) 에서 도출된 임베딩을 모델 활성화 공간에 주입하여, AI 가 유능함, 신뢰성, 의지 등 특정 신뢰 관련 행동을 하도록 유도할 수 있습니다.
• 인간-AI 협력 시스템: 코치와 선수, 또는 인간과 AI 에이전트 간의 신뢰 수준을 모니터링하고 개선 방안을 제시하는 소프트웨어 개발의 기초를 제공합니다.
• 사회인지적 추론 연구: LLM 이 복잡한 사회인지적 구성 요소를 어떻게 학습하고 표현하는지에 대한 새로운 통찰을 제공하며, AI 해석 가능성 (Interpretability) 과 사회인지학의 교차점을 개척합니다.

6. 한계 및 향후 과제

• 모델 제한: 현재 연구는 단일 오픈소스 모델 (gpt-j-6B) 에만 국한되어 있습니다. 향후 다양한 모델로 확장할 필요가 있습니다.
• 정적 표현: 현재 분석은 대화 중 동적으로 업데이트되는 신뢰 추론이 아닌, 정적인 임베딩에 기반합니다. 다중 턴 상호작용에서의 신뢰 진화 과정을 연구할 필요가 있습니다.

이 연구는 LLM 이 단순한 텍스트 생성기를 넘어, 인간과 유사한 사회인지적 구조를 내부적으로 보유하고 있음을 시사하며, 이를 활용한 더 안전하고 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 기초를 마련했습니다.