기술 요약: LLM 기반 인터뷰 및 의미론적 특징 추출을 통한 개인화된 이미지 미적 평가에서 AI 가 인간을 능가함

문제 제기

이미지에 대한 개인의 미적 취향을 정확하게 예측하는 것은 인공지능 분야에서 근본적인 과제입니다. 딥러닝 (DL) 모델은 평균적인 인구 집단의 평점을 예측하는 범용 이미지 미적 평가 (GIAA) 분야를 발전시켰지만, 개인화된 이미지 미적 평가 (PIAA) 에서는 어려움을 겪습니다. 미적 평가는 본질적으로 주관적이며 개인의 내부 처리에 의존하므로, 인구 집단의 평균은 종종 중요한 개인별 정보를 배제합니다.

기존의 PIAA 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 데이터 부족: 특정 개인에 대한 충분한 평가 데이터를 수집하는 것은 어렵습니다.
2. 특징의 한계: 기존 방법은 색상, 질감 같은 객관적이고 저수준의 물리적 특징에 크게 의존하며, 주관적 선호를 주도하는 고수준의 의미론적 특징 (예: 내러티브, 감정, 문화적 맥락) 을 적절히 포착하지 못합니다. 또한 이러한 방법들은 종종 대상 개인의 구체적이고 세밀한 선호도를 적극적으로 이끌어낼 메커니즘이 부족합니다.

방법론

저자들은 능동적인 언어적 상호작용을 통해 객관적인 이미지 특징과 주관적인 인간 선호도 사이의 간극을 메우도록 설계된 통합 DL-LLM 시스템을 제안합니다. 이 시스템은 두 가지 주요 하위 시스템으로 구성됩니다:

1. 인터뷰 시스템 (선호도 도출)

대상 개인의 미적 취향을 포착하기 위해, 이 시스템은 반구조화 인터뷰를 수행하기 위해 다중 에이전트 LLM 프레임워크를 활용합니다.

• 에이전트: 두 개의 에이전트가 비동기적으로 작동합니다. 질문을 던지는 인터뷰어와 응답을 처리하는 분석가입니다.
• 메커니즘: 고정된 질문 설문지와 달리, 이 시스템은 맥락을 유지하기 위해 공유되는 "인터뷰 데이터 컨테이너"를 사용합니다. 분석가는 사용자의 응답에서 통찰력과 가설을 생성하고, 인터뷰어는 이를 바탕으로 다음 질문을 구성합니다.
• 주제: 인터뷰는 세 가지 주요 주제를 다룹니다. 선호 대상 (주제, 이야기, 문화), 이미지 유발 반응 (감정적/신체적 반응), 그리고 개인적 취향 (일반적인 호불호).
• 목표: 개인의 미적 감수성의 본질을 언어적으로 포착하는 것입니다.

2. 예측 시스템 (특징 추출 및 모델링)

이 하위 시스템은 저수준과 고수준 특징을 통합하여 개인화된 예측 모델을 구축합니다.

• 아키텍처:
  • DL 모듈: GIAA 데이터로 사전 학습되고 개인의 데이터로 미세 조정된 합성곱 신경망 (ResNet-50 백본) 으로, 저수준 특징에 기반한 중간 예측을 제공합니다.
  • LLM 모듈: 인터뷰 데이터를 사용하여 고수준 의미론적 특징 집합을 생성합니다. 두 단계로 작동합니다:
    • 특징 탐색: LLM 이 임시 선형 모델의 예측 오차를 분석하고 새로운 언어적 특징 설명 (예: "향수를 자아냄") 을 고안하는 반복적 과정입니다. 그런 다음 LLM 은 이러한 새로운 특징에 대해 각 이미지에 "적용 가능성 점수 (0–1)"를 부여합니다.
    • 모델 학습: 추출된 고수준 특징과 DL 모듈의 중간 점수를 사용하여 최종 기계 학습 (ML) 모델 (그래디언트 부스팅 회귀) 을 훈련시켜 최종 미적 평점을 예측합니다.
• 훈련 데이터: 시스템은 참가자당 300 장의 이미지 (30 개 의미 카테고리 × 3 개 평점 클래스 × 20 장) 데이터 세트를 사용하며, 이를 훈련, 검증, 테스트 세트로 분할합니다.

실험 설정

• 참가자: 30 명 (모두 20 대; 남성 25 명, 여성 5 명).
• 작업: 참가자들은 1.0~5.0 척도로 300 장의 이미지에 평점을 매겼습니다.
• 기준선: 제안된 시스템은 다음과 비교되었습니다:
  • DL 기반 예측기: 표준 미세 조정 ResNet-50.
  • LLM 기반 예측기: 인터뷰 시스템 없이 퓨샷 러닝을 사용하는 다양한 모델 (Claude, GPT, Gemini).
  • 인간 예측기: 참가자들이 다른 익명화된 참가자들의 평점을 예측하는 것 (훈련 데이터와 인터뷰 요약을 사용).
  • 자기 재검사: 2 주 간격 후 참가자들이 동일한 이미지에 다시 평점을 매기는 것 (개인 내 변이성 측정).
• 지표: 평균 절대 오차 (MAE) 를 사용하여 예측 정확도를 측정했으며, 이를 개인 내 변이성과 직접 비교할 수 있도록 했습니다.

주요 결과

1. 우수한 성능: 제안된 통합 시스템은 모든 예측기 중 가장 낮은 MAE(0.549) 를 달성하여 DL 기반 예측기 (0.561, $p=0.0328$) 를 유의미하게 능가했습니다.
2. 고평점 이미지 정확도: 이 시스템은 5.0 점 (매우 높은 평점) 으로 평가된 이미지에 대해 DL 기준선 대비 가장 큰 개선을 보였으며, 평균 개선률은 21% 였습니다. 이는 고수준 의미론적 특징이 강력한 미적 감상을 포착하는 데 중요함을 시사합니다.
3. 인간 예측기 능가: 인간 예측기는 모든 그룹 중 가장 낮은 성능을 보였습니다. 그들의 오차는 체계적으로 자신의 미적 가치에 편향되어 있었으며, 이는 타인의 예측에서 개인적 선호를 분리해 내는 데 어려움을 겪고 있음을 나타냅니다.
4. AI 대 미래의 자기: 제안된 시스템은 "자기 재검사" 기준선보다 우수한 성능을 보였습니다. 이는 인간의 평가가 상당한 시간적 변동을 보이므로, 특정 시점의 개인의 미적 평가는 미래의 자기보다 AI 시스템이 더 정확하게 포착한다는 것을 의미합니다.
5. 사용자 경험: 참가자들은 인터뷰 후 높은 수준의 자기 통찰력과 메타인지 보고를 했으며, 이 과정이 자신의 선호도를 표현하는 데 도움이 되었음을 시사합니다.

중요성과 주장

이 논문은 AI 시스템이 다른 인간이나 심지어 개인의 미래 자기보다 개인의 미적 취향을 더 정확하게 포착할 수 있다는 정량적 증거를 제공한다고 주장합니다.

• 과학적 통찰: 결과는 인간의 미적 가치가 시간적 변동에 노출되어 있으며, 타인을 예측할 때 자신의 가치 체계에 의해 크게 편향됨을 시사합니다. 반면, AI 시스템은 일단 훈련되면 시간적 일관성을 보이며, 개인적 투사의 체계적 편향 없이 새로운 개인에 유연하게 적응할 수 있습니다.
• 인간 감수성에 대한 해석: 저자들은 AI 가 예측자의 변동하는 가치 간섭 없이 주관적 선호를 능동적으로 도출하고 모델링할 수 있으므로, 인간 자신보다 인간 미적 감수성의 "더 깊은 해석자"로서 더 잘 위치할 수 있다고 봅니다.
• 기술적 기여: 이 작업은 LLM 을 단순히 예측에 사용하는 것을 넘어, 비구조화된 언어 데이터로부터 고수준 의미론적 특징을 능동적이고 반복적으로 추출하여 예측 모델을 정제하는 새로운 파이프라인을 보여줍니다.

이 논문은 참가자 풀의 규모가 작고 인구통계학적 편향이 있으며, 일본어 인터뷰에 의존하고 계산 비용이 든다는 제한점을 겸손하게 인정하며 결론을 맺습니다. 또한 사생활과 인간 가치를 지나치게 단순화할 가능성에 대한 광범위한 윤리적 함의를 지적하며, 인간 미적 경험의 환원 불가능한 고유성에 대한 향후 연구를 촉구하고 있습니다.