TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

"TouchAI: 언어 모델 표현을 통한 촉각의 인간–AI 지각 정렬 탐구"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 인간–AI 정렬의 중요한 격차, 구체적으로 지각적 정렬을 다룹니다. AI 를 인간의 가치, 목표, 시각적 지각과 정렬시키는 데 상당한 진전이 이루어졌지만, 인간의 촉각적 지각과 AI 를 정렬시키는 것은 여전히 largely 미개척 상태로 남아 있습니다.

• 과제: RGB 값을 통해 정량화될 수 있는 시각이나 주파수 척도로 측정 가능한 청각과 달리, 촉각은 다차원적이고 맥락에 의존적이며 보편적인 기준이 부재합니다. 촉각적 기술어 (예: "부드러운", "거친") 는 종종 은유적이고 주관적입니다.
• 핵심 질문: 방대한 텍스트 코퍼스로 훈련된 대규모 언어 모델 (LLM) 은 인간의 주관적 판단과 정렬된 촉각 경험에 대한 내부 표현을 보유하고 있을까요? LLM 은 촉각에 대한 텍스트 설명만으로 "실크 새틴이 면 데님보다 부드럽다"는 것을 이해할 수 있을까요?
• 위험: AI 시스템이 물리적 상호작용 (예: 로봇 조작, 개인화된 제품 추천) 을 중재하는 비중이 커짐에 따라, 지각적 정렬의 부재는 신뢰할 수 없거나 좌절감을 주는 사용자 경험으로 이어질 수 있습니다.

2. 방법론

저자들은 인간과 LLM 간의 지각적 정렬을 평가하기 위해 **"Guess What Textile?"(어떤 직물일까?)**이라는 새로운 상호작용 과제를 설계했습니다.

A. 시스템 설계 및 작업 흐름

• 설정: 참가자들은 통제된 실험실 환경에서 맞춤형 AI 시스템과 상호작용합니다. 시각적 단서를 배제하기 위해 검은 상자 안에 두 가지 직물 샘플을 만져봅니다. 하나는 AI 에게 알려지지 않은 타겟이고, 다른 하나는 AI 에게 알려진 참조 샘플입니다.
• 상호작용: 참가자들은 두 직물 간의 촉각적 차이를 구두로 설명합니다.
• AI 메커니즘:
  1. 임베딩: 시스템은 20 가지 가능한 직물 설명을 사전 계산된 벡터 임베딩 ($E_{textiles}$) 으로 변환하기 위해 OpenAI text-embedding-3-small 모델을 사용합니다.
  2. 벡터 검색: 참가자의 비교 설명은 차이 벡터 ($v_{diff}$) 로 인코딩됩니다. 시스템은 방향 오프셋 공식을 사용하여 이 벡터를 참조 직물의 벡터 ($v_{ref}$) 와 결합합니다:
     $$\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$$
     (여기서 $\alpha=2$는 스케일링 인자입니다).
  3. 예측: 시스템은 예측된 벡터와 모든 20 가지 직물 임베딩 간의 코사인 유사도를 계산하여, 가장 높은 유사도를 가진 ID 를 선택하여 추측합니다.
  4. 반복: 추측이 틀린 경우, 추측된 직물이 새로운 참조가 되고 이 과정이 최대 5 번까지 반복됩니다.

B. 실험 설정

• 참가자: 대면 연구를 위해 모집된 40 명의 참가자 (비전문가, 다양한 배경).
• 자극물: 자연계, 동물성, 재생, 합성이라는 네 가지 메타 카테고리를 아우르는 20 가지 고유한 직물 샘플 (실크 새틴, 면 데님, 양모, 인조 가죽 등 포함).
• 지표:
  1. 성공률: AI 가 5 번의 시도 내에 올바른 직물을 추측했는가?
  2. 타당성: (주관적) AI 의 추측이 참가자의 구두 설명과 얼마나 잘 일치하는가 (1–10 척도)?
  3. 유사성: (주관적) 추측된 직물이 실제 타겟과 지각적으로 얼마나 가까운가 (1–10 척도)?
• 분석: 연구는 설명의 일관성이 AI 성능에 영향을 미치는지 확인하기 위해 언어 분석 (TF-IDF, Sentence-BERT, OpenAI 임베딩) 을 수행했습니다. 또한 **다차원 척도법 (MDS)**과 계층적 군집화를 사용하여 인간 지각 공간과 AI 의미 공간의 기하학적 구조를 비교했습니다.

3. 주요 기여

1. 촉각 정렬에 대한 첫 번째 탐구: 이는 상호작용적 비교 과제를 사용하여 인간 촉각 경험과 LLM 표현 간의 지각적 정렬 수준을 체계적으로 조사한 첫 번째 연구입니다.
2. 감각에서 임베딩 공간으로의 매핑: 저자들은 촉각적 설명을 LLM 임베딩 공간에 성공적으로 매핑하고 표현 유사성을 측정하여, LLM 이 재료에 따라 체계적인 지각적 편향을 보임을 밝혔습니다.
3. 상호작용적 작업 설계: 이 논문은 의류나 직물 선택과 같은 실제 생활 시나리오를 반영하고 음식, 향수 등 다른 감각 영역으로 적용 가능한 "Guess What Textile" 프레임워크를 제시합니다.
4. 편향에 대한 경험적 증거: 이 연구는 LLM 이 촉각에 대해 균일하게 "맹목적인" 것이 아니라 매우 불일치적임을 정량적 증거로 제시합니다. 즉, 실크와 같은 일부 재료에서는 잘 수행하지만 데님과 같은 다른 재료에서는 실패합니다.

4. 주요 결과

A. 전반적 성능

• 낮은 성공률: AI 는 22.5% 의 성공률(80 개 작업 중 18 개) 을 기록했으며, 이는 무작위 추측 (23.7% 기준) 과 통계적으로 구별되지 않습니다.
• 주관적 평가:
  • 타당성: 평균 점수 5.27/10 (중립과 유의미한 차이 없음).
  • 유사성: 평균 점수 4.77/10 (중립보다 유의미하게 낮음).
  • 상관관계: 타당성과 유사성은 강하게 상관되었습니다 ($r=0.758$). 이는 AI 가 설명을 오해할 때 결과적으로 추측된 직물도 지각적으로 멀어졌음을 시사합니다.

B. 재료별 편향

• 높은 정렬: 실크 새틴은 100% 의 성공률을 기록했습니다. 훈련 데이터의 풍부한 텍스트 연관성으로 인해 LLM 의 임베딩 공간이 이 재료에 대해 강력하고 잘 정의된 표현을 가지고 있는 것으로 보입니다.
• 낮은 정렬: 면 데님, 인조 가죽, 인조 모피는 0% 의 성공률을 보였습니다. 참가자들이 명확한 설명을 제공했음에도 불구하고 모델은 이러한 재료를 구별하지 못했습니다.
• 혼동 행렬: AI 는 실제 타겟과 관계없이 특정 "인기 있는" 질감 (예: 린넨 플레인 또는 실크 크레폰) 을 예측하는 경향을 보였으며, 이는 임베딩 공간의 특정 클러스터에 대한 편향을 나타냅니다.

C. 인간 대 AI 공간 기하학

• 약한 구조적 정렬: AI 는 광범위한 범주적 지식 (예: 양모들을 그룹화) 을 포착했지만, 인간이 지각하는 세밀한 지각적 관계를 재현하지는 못했습니다.
• 로컬 이웃: AI 공간에서 "가장 가까운 이웃"(가장 유사한 직물) 의 30% 만 인간 지각 공간의 이웃과 일치했습니다.
• 상관관계: 인간의 유사성 평가와 AI 의미적 유사성 간의 상관관계는 중간 정도였으며 ($r=0.441$), 분산의 약 19.5% 만 설명했습니다.

D. 정렬 불일치의 원인

• 훈련 데이터 부족: WikiText-103 과 BookCorpus 에 대한 코퍼스 분석 결과, 직물/촉각 관련 용어는 **0.0033%–0.0018%**의 빈도로 나타나는 반면, 색상 관련 용어는 **0.15%–0.04%**의 빈도로 나타났습니다. 훈련 코퍼스 내 촉각 데이터의 부재가 정렬 불일치의 주요 동인입니다.
• 언어적 대 지각적 군집화: LLM 은 지각적 유사성(실제 느낌) 이 아니라 언어적/범주적 유사성(예: "면"과 "린넨"은 모두 천연 섬유) 을 기반으로 직물을 군집화합니다.

5. 중요성 및 함의

• 텍스트 전용 모델의 한계: 이 연구는 현재 LLM 이 "촉각 공간"을 완전히 인코딩할 수 없음을 보여줍니다. 이들은 embodied 물리적 이해 대신 언어적 연관성에 의존합니다.
• 모달리티별 정렬: 지각적 정렬은 모달리티 간에 일반화될 것이라고 가정할 수 없습니다. 시각에 정렬된 모델은 촉각에 대해 여전히 "맹목적"일 수 있습니다.
• 다중 모달 그라운딩의 필요성: 견고한 정렬을 달성하기 위해 미래의 AI 시스템은 텍스트에만 의존하지 않고 다중 모달 감각 데이터(시각, 촉각, 청각) 를 통합해야 합니다.
• 윤리적 및 안전 제약: 저자들은 GPT-4 와 같은 모델의 안전 필터가 때때로 성적인 내용과 연관된 촉각적 설명을 차단하여 연구를 방해했다고 지적했습니다. 이는 정당한 감각 연구를 허용하는 세심한 안전 장치가 필요함을 강조합니다.
• 향후 방향: 이 논문은 대규모이고 다양한 촉각 설명 데이터셋의 생성과 언어와 물리적 감각 간의 간극을 메울 수 있는 다중 모달 대규모 언어 모델 (MLLM) 의 개발을 요구합니다.

결론적으로, TouchAI는 LLM 이 촉각에 대한 잠재적 지식을 일부 보유하고 있지만, 인간과의 지각적 정렬은 체계적으로 편향되어 있고 불완전함을 보여줍니다. 물리적 세계에서 진정한 인간–AI 정렬을 달성하기 위해서는 embodied 다중 모달 학습을 포함하도록 텍스트 기반 표현을 넘어설 필요가 있습니다.