Measuring Embedding Sensitivity to Authorial Style in French: Comparing Literary Texts with Language Model Rewritings

기술 요약: 프랑스어에서 저자 스타일에 대한 임베딩 민감도 측정

문제 제기
대규모 언어 모델 (LLM) 은 인간의 작문 스타일을 설득력 있게 모방할 수 있지만, 언어 모델의 임베딩에 얼마나 많은 스타일 정보가 인코딩되어 있으며, LLM 이 텍스트를 재작성한 후 이러한 신호가 얼마나 잘 유지되는지는 여전히 불분명합니다. 기존 임베딩 기반 분석은 종종 스타일적 특징보다 의미적 작업 (예: 토픽 모델링) 을 우선시합니다. 본 논문은 프랑스어 문학 텍스트에서 임베딩이 저자의 스타일적 특징을 얼마나 신뢰성 있게 포착하는지, 그리고 LLM 이 특정 저자를 모방하도록 텍스트를 재작성할 때 이러한 신호가 어느 정도까지 유지되는지 조사합니다.

방법론
본 연구는 1,248 개의 프랑스어 문학 텍스트로 구성된 데이터셋을 활용한 통제된 실험 설계를 사용합니다. 이 데이터셋은 세 가지 구성 요소로 나뉩니다:

1. 참고 코퍼스 (인간 작성):
   • TUFFERY_REF: 스테파누 퓌페리의『Le style mode d'emploi』에서 발췌한 96 개의 텍스트로, 모두 파리에서의 버스 여행이라는 단일 주제를 공유하지만 스타일 (주요 저자들의 패스티시 포함) 은 다양합니다.
   • STYLE_REF: 프루스트 (『스완네 쪽으로』), 셀린 (『밤의 끝으로의 여행』), 유르세나르 (『하드리아누스 회상록』) 의 세 명의 저자에서 발췌한 288 개의 텍스트로, 각각 구조적 복잡성, 구어체 어조, 역사적 고착화 등 다양한 스타일적 프로필을 대표합니다.
2. 생성 코퍼스 (LLM 모방):
   • STYLE_GEN: 세 개의 LLM(GPT-4o, Mistral-large-2411, Gemini-1.5-flash) 을 프롬프트하여 TUFFERY_REF 텍스트를 STYLE_REF 의 세 저자 스타일로 재작성하여 생성된 864 개의 텍스트입니다. 이는 고정된 주제와 가변적인 스타일을 가진 데이터셋을 생성합니다.
3. 벡터화 및 분석:
   • 모든 텍스트는 아키텍처 다양성과 Massive Text Embedding Benchmark(MTEB) 성능을 기준으로 선정된 13 가지 다른 임베딩 모델(384 에서 1536 차원까지) 을 사용하여 인코딩되었습니다.
   • 클러스터링 검증: K-means 클러스터링 (k=3) 과 Uniform Manifold Approximation and Projection(UMAP) 을 사용하여 임베딩 공간에서 세 코퍼스 그룹 (TUFFERY, STYLE_REF, STYLE_GEN) 의 분리 가능성을 평가했습니다.
   • 민감도 지표: 핵심 분석은 임베딩 분산(2D UMAP 공간에서 클래스 중심으로부터의 유클리드 거리) 과 스타일적 특징 변화를 측정합니다. 다섯 가지 스타일적 특징 계열이 추적되었습니다: 구조적 (단어/문장 길이), 형태구문 (품사 태그), 어휘 (섀넌 엔트로피, 문자 빈도), 그리고 지시성 (개체명 인식 밀도).
   • 상관 분석: TUFFERY_REF 기준선에 대한 임베딩 분산의 변화 ($\Delta d$) 와 스타일적 특징 빈도의 변화 ($\Delta f_s$) 사이에 피어슨 상관계수가 계산되었습니다. 이는 인간이 작성한 텍스트 (STYLE_REF) 와 LLM 이 생성한 모방 텍스트 (STYLE_GEN) 모두에 대해 수행되었습니다.

주요 결과

• 인간 스타일에 대한 임베딩 민감도: 임베딩은 저자의 스타일적 특징을 신뢰성 있게 포착합니다. 임베딩 분산 변화와 스타일적 특징 변화 사이에 유의미하지만 중간에서 약한 상관관계가 발견되었습니다.
  • 프루스트: 개체명 (NER), 문자, 구조적 특징, 품사 태그 전반에 걸친 광범위한 민감도.
  • 셀린: 문자 빈도, NER, 엔트로피에 집중된 민감도.
  • 유르세나르: NER(지시적 밀도) 에 대한 민감도가 지배적.
• 재작성 후 유지성: 스타일적 신호는 LLM 재작성 후에도 유지되지만, 약화되고 재가중됩니다.
  • 프루스트 모방: 광범위한 프로필을 유지했으나 구조적 및 문자 특징에서의 민감도는 감소했습니다.
  • 셀린 모방: 생성된 클래스 중 가장 높은 스타일 충실도를 보였으며, 구어체 어조 마커 (문자) 는 유지하면서 지시성을 과대평가했습니다.
  • 유르세나르 모방: NER 기반 고착화는 유지되었으나 부분적 희석과 문자 빈도 쪽으로의 전환이 있었습니다.
• LLM 별 패턴: 서로 다른 LLM 은 저자 스타일의 서로 다른 측면을 보존합니다. 예를 들어, Mistral 은 프루스트의 광범위한 프로필을 가장 잘 보존한 반면, GPT 는 표면적 분류기에서의 전반적인 '전이 정확도'가 낮음에도 불구하고 셀린과 유르세나르의 정의 패턴에 대해 다른 모델보다 더 높은 충실도를 보였습니다.
• 지표의 불일치: 본 연구는 표면적 스타일 전이 정확도 (문자 n-그램으로 측정) 와 임베딩 기반 스타일 충실도 사이의 불일치를 강조합니다. 모델은 표면 정확도 점수가 낮을지라도 저자의 임베딩 프로필을 정의하는 깊은 구조적 또는 지시적 패턴을 더 잘 보존할 수 있습니다.

의의 및 주장
본 논문은 분석 결과가 언어 모델 시대의 저자 모방 탐지를 위한 유망한 방향을 제시한다고 주장합니다. 생성적 재작성을 통해 특정 스타일적 특징이 어떻게 보존되거나 변경되는지 추적함으로써, 이 연구는 전통적인 스타일 전이 평가를 보완합니다. 스타일 변환 패턴과 관련하여 임베딩 공간에서 인간 기준선과의 편차가 LLM 기반 모방의 지표가 될 수 있음을 시사합니다.

저자들은 자신의 발견에 대해 다음과 같이 겸손한 입장을 유지합니다:

• 관찰된 상관관계는 유의미하지만 크기는 중간 정도입니다.
• 본 연구는 프랑스어 문학 텍스트와 특정 저자 집합에 국한되어 있으며, 다른 언어나 비문학 장르로 일반화하려면 추가 검증이 필요합니다.
• 스타일적 특징의 목록은 연구된 특정 저자에 맞춰져 있어 포괄적이지 않을 수 있습니다.
• 시각화를 위해 2D UMAP 에 의존하는 것은 추가 조사가 필요한 왜곡을 도입합니다.

궁극적으로 이 작업은 임베딩 벡터가 스타일에 얼마나 민감한지 정량화하고, LLM 이 스타일 전이 과정에서 그 민감도를 보존하거나 변경하는 정도를 측정하는 틀을 제공합니다.