How does fine-tuning improve sensorimotor representations in large language models?

본 연구는 특정 작업에 대한 파인튜닝이 대규모 언어 모델의 내부 표현을 인간 감각운동 경험과 더 정렬되도록 유도할 수 있음을 입증하지만, 이러한 개선 효과는 학습 목표에 따라 작업 간 전이가 제한적임을 보여줍니다.

핵심

이 논문은 **"인공지능 (LLM) 이 인간처럼 몸으로 느끼는 경험을 이해할 수 있을까?"**라는 질문에 답하는 연구입니다.

간단히 말해, 인공지능은 책만 읽어서 배웠기 때문에 '맛', '촉감', '운동' 같은 몸의 감각을 이해하는 데 약점이 있다는 것을 발견했고, 특정한 방식으로 훈련 (파인튜닝) 시키면 이 약점을 크게 개선할 수 있다는 것을 증명했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "책만 읽은 요리사"의 한계

인공지능 (LLM) 은 방대한 양의 텍스트 (책, 인터넷 글) 를 읽으며 배웠습니다. 하지만 인간은 책을 읽는 것뿐만 아니라, 과일을 직접 먹고, 사과를 만지고, 소리를 듣고 몸으로 경험하며 배웁니다.

• 비유: 인공지능은 **"요리 레시피 책만 100 권 읽은 요리사"**입니다.
  • 그는 "토마토는 붉고 신맛이 난다"는 문장은 완벽하게 외웠습니다.
  • 하지만 실제로 토마토를 입에 넣고 씹어본 적이 없기 때문에, 그 맛이나 식감을 인간처럼 생생하게 이해하지 못합니다.
  • 연구자들은 인공지능이 인간이 느끼는 감각 (시각, 청각, 촉각 등) 을 설명할 때, 인간과 전혀 다른 엉뚱한 대답을 한다는 '몸의 격차 (Embodiment Gap)'를 발견했습니다.

2. 해결책: "맛있는 음식으로 가르치기" (파인튜닝)

연구진은 인공지능에게 책만 더 읽게 하는 대신, 실제 인간들이 "이것은 얼마나 맛있다/촉감이 좋다"고 평가한 데이터를 보여주고 "너도 이렇게 생각해보라"고 가르쳤습니다. 이를 **파인튜닝 (Fine-tuning)**이라고 합니다.

• 비유: 책만 읽던 요리사에게 **"실제 토마토를 맛보게 하고, '이건 5 점이다'라고 가르치는 것"**입니다.
  • 연구진은 인공지능에게 인간이 매긴 점수 (0~5 점) 를 보여주며, "네가 예측한 점수가 인간과 비슷해지도록 수정해라"라고 시켰습니다.

3. 놀라운 발견: "전체적인 실력 향상"이 아니라 "맞춤형 교정"

많은 사람은 "훈련을 시키면 인공지능의 모든 능력이 골고루 좋아지겠지?"라고 생각할 수 있습니다. 하지만 이 연구는 완전히 다른 결과를 보여줍니다.

• 비유: 학생의 성적이 나쁠 때, 단순히 "공부량을 늘려라"라고 하면 모든 과목이 조금씩 좋아질 수 있습니다. 하지만 이 연구는 **"가장 틀린 문제만 집중적으로 고쳐주니, 성적이 완전히 뒤바뀌었다"**는 것을 발견했습니다.
  • 기존 모델: "사과"와 "바나나"의 맛을 비슷하게 느꼈습니다.
  • 훈련 후 모델: "사과"는 확실히 달고, "바나나"는 부드럽다는 식으로 구분을 명확히 했습니다.
  • 핵심: 훈련 전에는 잘 맞던 개념들은 오히려 순위가 바뀌기도 했고, 가장 틀리던 개념들이 가장 크게 고쳐졌습니다. 즉, 단순한 점수 올림이 아니라, 인공지능의 '생각하는 방식 (뇌 구조)' 자체가 인간처럼 재배열된 것입니다.

4. 언어와 과제의 장벽

이 훈련이 얼마나 잘 통하는지 실험해 보니 재미있는 규칙이 있었습니다.

• 언어는 통하지만, 과제는 통하지 않습니다.
  • 언어: 네덜란드어로 훈련된 인공지능도 영어 단어의 감각을 잘 이해했습니다. (비유: 프랑스어로 요리를 배운 요리사도 영어 메뉴판의 맛을 이해할 수 있음)
  • 과제: 하지만 "맛을 점수로 매기는 훈련"을 받은 인공지능은 "맛에 대한 퀴즈를 푸는 훈련"을 받은 인공지능과는 달랐습니다.
  • 결론: 인공지능에게 **"무엇을 배우게 하느냐 (목표)"**가 **"무엇을 보게 하느냐 (데이터)"**보다 더 중요합니다. 점수를 매기는 방식 (Rating) 으로 가르쳐야만, 감각을 점수로 매기는 능력을 기를 수 있었습니다.

5. 결론: 인공지능은 유연하다!

이 연구의 가장 큰 메시지는 **"인공지능의 뇌는 고정된 것이 아니라, 우리가 가르치는 대로 유연하게 변한다"**는 것입니다.

• 요약:
  1. 인공지능은 몸으로 느끼는 감각이 부족합니다.
  2. 하지만 인간의 감각 데이터를 보여주고 훈련시키면, 그 감각을 이해하는 능력이 획기적으로 좋아집니다.
  3. 이는 단순히 지식을 더 쌓는 게 아니라, 인공지능이 세상을 바라보는 '렌즈'를 인간처럼 갈아 끼우는 것과 같습니다.
  4. 앞으로는 인공지능이 더 현실적이고 인간적인 감성을 가지도록, 우리가 가르치는 방식 (훈련 데이터) 을 잘 설계해야 합니다.

한 줄 요약:

"책만 읽던 인공지능에게 인간의 '감각'을 가르쳐주니, 그제야 비로소 인간처럼 세상을 느끼는 법을 배웠다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 구현체 간극 (Embodiment Gap): 대규모 언어 모델 (LLM) 은 텍스트 기반 학습에 의존하기 때문에 인간의 감각 - 운동 경험 (신체적 상호작용, 감각 지각 등) 과는 괴리가 있습니다. 기존 연구들은 LLM 이 비감각 - 운동적 특성 (예: 단어의 구체성, 감정가치) 에 대해서는 인간과 유사한 표현을 보이지만, 감각 (시각, 후각 등) 및 운동 (손, 발 등) 관련 개념에서는 인간 능력에 크게 미치지 못한다고 지적했습니다.
• 기존 접근법의 한계: 다중 모달 (텍스트 + 이미지) 학습을 통해 이 간극을 줄이려는 시도가 있었으나, 방대한 데이터와 계산 자원이 필요하여 비효율적입니다.
• 연구 질문: 텍스트 기반 LLM 이 직접적인 물리적 상호작용 없이도, 작업 특화적 미세 조정 (Task-specific Fine-tuning) 을 통해 인간과 유사한 감각 - 운동 표현을 획득할 수 있는가? 그리고 그 메커니즘은 무엇인가?

2. 연구 방법론 (Methodology)

연구는 GPT-4o-mini 를 베이스 모델로 사용하여 체계적인 평가를 수행했습니다.

• 데이터셋:
  • 영어: Lancaster Sensorimotor Norms (39,710 단어, 11 차원: 6 개 감각 + 5 개 운동).
  • 네덜란드어: Dutch Sensory Norms (24,000+ 단어, 6 개 감각). 영어 - 네덜란드어 병렬 데이터 (10,677 쌍) 를 구축하여 교차 언어 평가를 수행했습니다.
  • QA 데이터: PerceptualQA (다중 선택지 질문 형식) 를 사용하여 다른 작업 형식의 전이 효과를 검증했습니다.
• 모델 구성:
  • Base: GPT-4o-mini (미세 조정 전).
  • En_FT: 영어 감각 - 운동 평점 예측 데이터로 미세 조정.
  • Nl_FT: 네덜란드어 감각 평점 예측 데이터로 미세 조정.
  • QA_FT: PerceptualQA (질문 - 답변) 형식 데이터로 미세 조정.
• 평가 지표 및 분석 기법:
  • 표현 유사성 분석 (RSA): 모델이 생성한 개념 간 거리 행렬 (RDM) 과 인간 평점 RDM 간의 유사성 (스피어만 순위 상관관계) 을 측정하여 전체 구조적 정렬을 평가.
  • 차원별 상관관계: 11 개 개별 감각 - 운동 차원 (시각, 청각, 손, 발 등) 에서의 정확도 분석.
  • 개념 수준 분석: 개별 단어에 대한 예측 정확도 (유클리드 거리 기반 유사도) 및 모델 간 성능 순위 상관관계 분석.
  • 통계적 검증: 부트스트랩 리샘플링 (200 회), Steiger's Z-test, 쌍체 t-검정 등을 사용.

3. 주요 결과 (Key Results)

A. 구조적 정렬 및 전이 효과 (Structural Alignment & Transfer)

• 전반적 개선: 미세 조정 (En_FT, Nl_FT) 은 베이스 모델에 비해 인간 표현 공간과의 구조적 유사성 (RSA) 을 통계적으로 유의미하게 향상시켰습니다.
• 교차 언어 전이: 영어 데이터로 학습한 모델은 네덜란드어 개념 평가에서도, 네덜란드어 데이터로 학습한 모델은 영어 개념 평가에서도 큰 향상을 보였습니다. 이는 감각 - 운동 구조 지식이 언어 경계를 넘어 전이됨을 의미합니다.
  • 주의: 최적의 성능은 학습 언어와 평가 언어가 일치할 때 나타났습니다 (언어 매칭 > 교차 언어 전이).
• 작업 형식 전이의 실패: QA 형식으로 미세 조정된 모델 (QA_FT) 은 평점 예측 작업에서 베이스 모델과 유사한 성능을 보였으며, 전이가 거의 일어나지 않았습니다. 이는 학습 목표 (Objective) 가 표현 변화에 결정적임을 시사합니다.

B. 차원별 및 개념별 개선 메커니즘 (Dimension & Concept Level)

• 차원별 개선: 미세 조정된 모델은 11 개 차원 중 대부분에서 베이스 모델 대비 급격한 성능 향상을 보였습니다 (예: 손/팔 차원에서 -0.08 에서 0.83 으로 상승).
  • 한계: 미각 (Gustatory) 과 후각 (Olfactory) 차원은 인간 평점의 분산이 낮아 (대부분 낮은 점수) 미세 조정의 개선 폭이 제한적이었습니다.
• 감각 - 운동 상호 전이: 감각 차원 데이터만으로 학습된 모델 (Nl_FT) 이 운동 차원 (Motor) 표현에서도 유의미한 향상을 보였습니다. 이는 감각 - 운동 의미 공간이 상호 연결되어 있음을 시사합니다.
• 표현의 재구성 (Reorganization): 가장 중요한 발견은 베이스 모델과 미세 조정 모델 간의 성능 순위 상관관계가 거의 0 에 수렴했다는 점입니다.
  • 이는 미세 조정이 모든 개념의 성능을 균일하게 높이는 '글로벌 부스트 (Global Boost)'가 아니라, 가장 오차가 큰 개념들을 표적으로 삼아 표현 공간을 체계적으로 재배열 (Targeted Reorganization) 하는 과정임을 의미합니다.
  • 반면, QA_FT 모델은 베이스 모델과 높은 상관관계를 보여 기존 표현을 단순히 강화했을 뿐 재구성하지 못했습니다.

C. 사례 연구

• 예시 단어 "SHOUTER"의 경우, 베이스 모델은 평탄하고 부정확한 프로필을 보였으나, En_FT 모델은 청각 (Auditory) 과 입 (Mouth) 관련 차원에서 인간과 유사한 뚜렷한 피크를 보이며 정확한 감각 - 운동 프로필을 재구성했습니다.

4. 핵심 기여 (Key Contributions)

1. 구현체 간극 해소의 효율적 경로 제시: 고비용의 다중 모달 전학습 (Pre-training) 없이도, 제한된 인간 평점 데이터를 통한 지도 학습 미세 조정 (Supervised Fine-tuning) 만으로도 LLM 의 감각 - 운동 표현을 인간 수준에 가깝게 개선할 수 있음을 증명했습니다.
2. 개선 메커니즘의 규명: 미세 조정의 효과가 단순한 성능 향상이 아니라, 표현 공간의 표적적 재구성 (Targeted Representational Reorganization) 임을 통계적 상관관계 분석을 통해 규명했습니다.
3. 학습 목표의 중요성 강조: 데이터의 양뿐만 아니라 작업 형식 (Task Format) 이 표현 학습의 성패를 좌우함을 보여주었습니다. (평점 예측 태스크는 효과적이었으나, QA 태스크는 전이되지 않음).
4. 모델의 가소성 (Plasticity) 입증: LLM 의 내부 표현이 고정된 것이 아니라, 표적 감독을 통해 더 구체화 (Grounded) 된 패턴으로 유도될 수 있음을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 물리적 세계와의 직접적 상호작용 없이도, 인간의 감각 - 운동 경험을 효과적으로 모방할 수 있는 가능성을 제시합니다. 특히, 미세 조정이 단순한 데이터 암기가 아니라, 인간의 인지 구조와 유사한 방식으로 개념 간 관계를 재배열하는 과정임을 규명했다는 점에서 이론적, 실용적 가치가 큽니다.

향후 연구 방향으로는 미각/후각과 같은 데이터 분산이 낮은 영역의 한계를 극복하기 위한 데이터 확장, 그리고 fMRI 나 EEG 와 같은 신경과학 데이터를 감독 신호로 활용하여 모델의 내부 활성화 패턴을 인간의 뇌 활동과 정렬 (Neuro-aligned) 시키는 연구가 제안되었습니다. 이는 더 포괄적이고 통합된 인공지능 의미 체계 개발의 토대가 될 것입니다.