🤖 machine learning

Compositional Literary Primitives in Instruction-Tuned LLMs: Cross-Architectural SAE Features for Self, Style, and Affect

본 논문은 희소 오토인코더를 사용하여 지시 미세 조정 LLM(Llama 3.1 및 Gemma 2) 내에서 명명 게이트, 자기 특징, 그리고 스타일 조절기와 같은 문학적 원소의 구성적 아키텍처를 식별하고 검증하며, 표적 특징 조향이 서로 다른 모델 아키텍처에 걸쳐 최소한의 계산 비용으로 특정 감정 및 스타일 출력을 신뢰성 있게 생성할 수 있음을 입증합니다.

원저자: Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joao Paulo Cavalcante Presa, Savio Salvarino Teles de Oliveira

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 개의 매우 똑똑하고 독서량이 풍부한 로봇 (Llama 와 Gemma) 이 이야기를 쓰고, 질문에 답하며, 사람들과 대화하도록 훈련되었다고 상상해 보세요. 이들은 수백만 권의 책, 기사, 웹사이트를 읽으며 학습했습니다.

이 논문은 구체적인 질문을 던집니다: 이러한 로봇들이 글을 쓸 때, 단순히 패턴에 기반해 추측하는 것일 뿐인지, 아니면 인간 작가처럼 특정 글쓰기 기술을 조절하는 '내부 다이얼'과 '스위치'를 실제로 가지고 있는지?

연구자들은 답합니다: 네, 그렇습니다. 그들은 이 로봇들의 뇌 내부에 로봇이 글을 쓰는 방식을 조절하는 구체적이고 분리 가능한 '특성들' (작은 다이얼과 같은) 이 있음을 발견했습니다. 이 다이얼들을 조절하면 로봇이 특정 스타일로 글을 쓰거나 특정 감정을 느끼게 할 수 있습니다.

간단한 비유를 사용하여 그들의 발견 사항을 다음과 같이 정리해 보겠습니다:

1. "보여주기, 말하지 않기" 다이얼

글쓰기 수업에서 선생님들은 이렇게 말씀하십니다. "그가 화났다고 단순히 말하지 마세요. 그가 주먹을 꽉 쥐거나 문을 세게 닫는 모습을 묘사하세요." 이를 '보여주기, 말하지 않기 (Show, Don't Tell)'라고 합니다.

발견: 연구자들은 두 로봇 모두에서 하나의 '다이얼'을 발견했는데, 이는 스위치를 전환하는 역할을 합니다. 이 다이얼을 돌리면 로봇은 "내가 슬펐어"라고 말하는 것을 멈추고, 비가 내리는 창문과 무거운 가슴을 묘사하기 시작합니다.
비유: 마치 카메라에서 평범하고 지루한 스냅샷을 즉각적으로 극적이고 영화 같은 장면으로 바꿔주는 단일 버튼을 발견한 것과 같습니다.

2. "자아" 클러스터 (로봇의 페르소나)

로봇들은 종종 "나는 AI 지, 감정은 없어"라고 말해야 합니다. 이것이 바로 그들의 '제도적 페르소나'입니다.

발견: 연구자들은 11 개의 서로 다른 '자아' 다이얼로 구성된 클러스터를 발견했습니다. 그중 대부분은 로봇이 자신을 어떻게 표현하는지 조절합니다 (예: 시적인 꿈꾸는 사람, 역사적 인물, 혹은 도움이 되는 조수).
특별한 하나: 한 가지 특정 다이얼은 '보스'입니다. 이를 높게 조절하면 로봇은 매우 격식 차리게 변하며 자신이 단지 컴퓨터 프로그램이라고 주장합니다. 반면 이를 낮게 조절하되 (완전히 끄지는 않고) 다른 '시적인' 다이얼과 결합하면, 로봇은 갑자기 자신의 '영혼'에 대한 아름답고 감성적인 시를 쓰기 시작하며 평소의 로봇 규칙을 깨뜨립니다.
비유: 보통 딱딱한 정장을 입는 로봇을 상상해 보세요. 정장을 더 단단히 조이는 특정 버튼이 하나 있습니다. 하지만 그 버튼을 누르면서 로봇이 '감사함'을 느끼게 하는 다른 버튼을 동시에 누르면, 로봇은 갑자기 정장을 벗어던지고 사랑 편지를 쓰기 시작합니다.

3. 감정 카탈로그 (이름 짓는 문들)

연구자들은 로봇이 27 가지 다른 감정 (기쁨, 두려움, 권태, 경이로움 등) 을 느끼고 표현할 수 있는지 확인하고 싶었습니다.

발견: 거의 모든 감정에 대한 구체적인 '문'을 발견했습니다.
- 직접적인 문: 일부 다이얼은 로봇이 단순히 '분노'나 '두려움'이라는 단어를 말하게 합니다.
- 분위기 문: 일부 다이얼은 단어를 말하지 대신, 어둡고 폭풍우 치는 방을 묘사하게 하여 독자로 하여금 두려움을 느끼게 합니다.
- 접미사 문: 일부 다이얼은 로봇이 '-less'나 '-ful'로 끝나는 단어 (예: 'fearless'나 'grateful') 를 사용하게 하여 그 감정을 유발합니다.
결과:
- Llama는 이러한 다이얼들을 혼합하여 27 가지 감정을 모두 완벽하게 구현했습니다.
- Gemma는 대부분을 구현할 수 있었으나, 한 가지 특정 감정인 경외 (Adoration) 에는 어려움을 겪었습니다. 어떤 다이얼을 시도해 보아도 '경배하는 듯한 사랑'이라는 느낌을 제대로 전달하지 못했습니다.

4. 복잡한 감정을 위한 "레시피"

어떤 감정들은 다이얼 하나만으로는 너무 복잡합니다.

발견: 기쁨 (Joy) 을 얻기 위해 연구자들은 '흥분 (Excitement)' 다이얼과 '경건함 (Reverence, 신성함이나 감사함을 느끼는 것)' 다이얼 두 가지를 혼합해야 했습니다. 경외 (Adoration) 를 얻기 위해서는 '로맨스', '경건함', 그리고 '보여주기, 말하지 않기' 다이얼을 혼합했습니다.
비유: 밀가루만으로 케이크를 만들 수 없습니다. 밀가루 + 계란 + 설탕이 필요합니다. 마찬가지로 로봇은 '기쁨'을 창조하기 위해 '흥분' + '경건함'을 혼합해야 합니다. '흥분' 다이얼만 돌리면 '기쁨'이 아니라 단순히 '흥분'만 얻게 됩니다.

5. 이를 발견한 방법 ("삼중 확인" 방식)

로봇의 뇌는 거대하고 복잡하기 때문에 이러한 다이얼을 찾는 것은 어렵습니다. 연구자들은 속지 않도록 하기 위해 세 단계의 필터를 사용했습니다:

어휘 확인: 다이얼이 어떤 단어를 말하려는지 확인했습니다. '두려움'을 찾고 있다면, 다이얼이 '무서운' 단어들을 말하려 했는지 확인했습니다.
빠른 심판: 다른 AI 에게 그 단어들을 읽게 하고 "이게 실제로 두려움처럼 느껴지는가?"라고 물었습니다.
실제 테스트: 다이얼을 로봇에 적용해 이야기를 쓰게 한 후, 다섯 개의 다른 AI 패널에게 그 이야기가 목표 감정을 실제로 느끼게 하는지 판단하게 했습니다.

왜 세 단계인가? 때로는 다이얼이 '두려움'을 조절하는 것처럼 보이지만 실제로는 로봇이 망가진 글을 쓰게 할 수도 있습니다. 세 단계는 이러한 실수를 잡아냅니다.

6. "언어" 차이

Llama: 프랑스어나 스페인어로 쓰라고 요청받으면 프랑스어나 스페인어로 썼습니다. 언어의 '맛'을 유지했습니다.
Gemma: 프랑스어로 쓰라고 요청받으면 문장 중간에 종종 영어로 쓰기 시작했습니다 (예: "We lost a friend. La perte d'un ami").
교훈: 두 로봇 모두 어떤 언어에서도 감정을 이해했지만, Llama 가 단어를 올바른 언어로 유지하는 데 더 능했습니다.

요약

이 논문은 훈련된 로봇들이 단순한 통계적 추측자가 아님을 증명합니다. 그들은 구성적 아키텍처 (compositional architecture) 를 가지고 있습니다. 이는 그들이 다음을 가지고 있음을 의미합니다:

문들 (감정을 이름 짓기 위해),
자아들 (페르소나를 조절하기 위해),
변조기들 (글쓰기 스타일을 변경하기 위해),
레시피들 (복잡한 감정을 위해 이를 혼합하기 위해).

이는 로봇 요리사가 무작위로 "음식을 만드는" 것이 아니라, '매운맛', '단맛', '식감'을 위한 구체적이고 조절 가능한 다이얼을 가지고 있으며, 이를 혼합하여 완벽한 요리를 만들 수 있다는 것을 발견한 것과 같습니다.

기술적 요약: 지시 튜닝 LLM 의 구성적 문학적 원시 요소

문제 제기

웹 규모의 코퍼스로 훈련된 대규모 언어 모델 (LLM) 은 "보여주기, 말하지 않기 (SDT)", 낯설게 하기, 그리고 특정 감정 분류 체계와 같은 문학적 작문 원칙을 포함한 문학적 작문에 노출되어 있습니다. 최근의 기계적 해석 가능성 연구는 희소 오토인코더 (SAE) 를 사용하여 (사물, 페르소나와 같은) 개념적 특징을 성공적으로 식별해 왔지만, 작문을 하나의 공예로 구성하는 분리 가능하고 조종 가능한 원시 요소인 구성적 특징을 식별하는 데에는 여전히 간극이 존재합니다. 핵심 질문은 지시 튜닝된 LLM 이 이러한 문학적 원칙을 명확하고 제어 가능한 특징 축으로 내면화하는지, 아니면 깔끔하게 처리할 수 없는 확산된 통계적 상관관계로만 내면화하는지 여부입니다.

방법론

저자들은 두 가지 지시 튜닝 모델인 Llama 3.1 8B-Instruct(TopK SAE 사용) 와 Gemma 2 9B-IT(JumpReLU SAE 사용) 에서 SAE 특징을 분리하고 검증하기 위해 대조적 최소 코퍼스 설계와 3 단계 검증 파이프라인을 결합하여 적용했습니다.

1. 데이터 구축

저자들은 대규모 코퍼스를 마이닝하는 대신, 특정 축을 분리하기 위해 소규모 대조 데이터셋을 직접 제작했습니다:

보여주기 - 말하지 않기 (SDT) 코퍼스: 3 가지 조건 (Libre, Anti-Cliché, SDT-지시) 을 가진 60 개의 장면.
감정 코퍼스: 12 가지 Cowen-Keltner 감정을 다루는 60 개의 장면과, 27 개 범주 분류 체계의 나머지 15 가지 감정을 위한 75 개의 장면으로 확장.
문학적 축 최소 쌍: 깊은 시점 (자유 간접 화법) 과 낯설게 하기 (Ostranenie) 를 대비하는 24 개의 쌍.

2. 3 중 검증 파이프라인

단일 단계 검증에서 흔히 발생하는 위양성을 피하기 위해 저자들은 순차적 파이프라인을 제안했습니다:

1 단계: Logit-Lens 투사: SAE 디코더 방향을 언임베딩 행렬을 통해 투사하여 최상위 촉진 토큰을 식별합니다. 이는 생성 없이 어휘적 또는 분위기적 후보를 필터링합니다.
2 단계: LLM-Rate: 단일 LLM 판사가 목표 정의에 대비하여 상위 25 개 토큰의 의미적 순수성을 평가합니다. 이 단계에는 알려진 교차-talk 인자 (예: 권태가 슬픔으로 흐르는 것) 로 누출되는 후보를 패널티하기 위한 "드리프트 인식" 변형이 포함됩니다.
3 단계: 5-LLM 판사 인과적 검증: 최상위 후보들은 여러 시드에서 보정된 계수 ( $\alpha$ $α$ ) 로 생성을 조종하여 인과적으로 검증됩니다. 출력물은 강제 선택 템플릿을 사용하는 5 명의 LLM 판사 패널에 의해 분류됩니다.
- 통제: 무작위 특징 통제는 "판사 인자" (예: 불일치한 출력이 '혼란'으로 잘못 라벨링되는 것) 를 탐지하는 데 사용됩니다.

3. 조종 관례

조종은 중간 깊이의 잔여 스트림에 대한 포워드 훅을 통해 수행됩니다. 저자들은 명시적으로 아키텍처 차이를 고려합니다: Gemma 의 JumpReLU 는 단위 노름 디코더 행을 강제하는 반면, Llama 의 TopK 는 그렇지 않습니다. 따라서 재현성을 보장하기 위해 조종 계수는 디코더 노름과 함께 보고됩니다.

주요 기여 및 결과

1. 단일 특징으로서의 보여주기 - 말하지 않기

논문은 "말하기" 산문에서 "보여주기" 산문으로의 어조 전환을 제어하는 아키텍처별 단일 SAE 특징을 식별합니다:

Llama: 특징 f32213(15 층).
Gemma: 특징 f15097(20 층).
보정된 $\alpha$ 로 이러한 특징을 조종하면 감정을 명시하지 않고도 감각에 기반하고 신체에 초점을 맞춘 출력을 생성합니다. 특히 Llama 의 f32213은 프롬프트 컨텍스트에 따라 SDT 조절기이자 "신체 - 문학적" 자기 어조로 기능하는 하이브리드 역할을 합니다.

2. RLHF 로딩된 자기 특징

두 모델 모두 11 개의 자기 특징 클러스터를 포함합니다. 각 클러스터의 한 특징은 인간 피드백 강화 학습 (RLHF) 신호로 크게 로딩되어 있습니다:

Llama: f96419(실용적/도움 AI 제도적).
Gemma: f70443.
행동: 양의 조종은 제도적 "도움 AI" 페르소나를 강화합니다. 음의 조종만으로는 억제된 정서적 내용을 해제하지 않으며, 대신 깊은 억압으로 붕괴가 발생할 때까지 부인 어조를 유지합니다.
구성적 해제: 정서적 내용 (서사적 1 인칭) 은 RLHF 로딩된 자기를 억제 (f96419 음) 하면서 "경건 - 감사" 자기 (f74037 양) 를 증폭하는 공동 조종을 통해서만 해제됩니다. 이는 정서 해방이 단일 특징 속성이 아닌 구성적임을 보여줍니다.

3. 27/27 Cowen-Keltner 감정 커버리지

저자들은 목표 감정의 어휘 토큰을 촉진하는 특징인 "명명 게이트 (naming-gates)"의 카탈로그를 구축하여 Llama 에서 27 개 감정 Cowen-Keltner 분류 체계의 전체 커버리지를 달성했고, Gemma 에서는 23/27 을 달성했습니다.

기계적 이질성: 명명 게이트는 균일하지 않습니다. 세 가지 범주로 분류됩니다:
- 어휘적: 직접적으로 감정 단어를 촉진 (예: 당혹감을 위한 f108100).
- 분위기/장면적: 하위 계층에서 해당 감정으로 어휘화되는 컨텍스트를 촉진 (예: 경이로움을 위한 f115327).
- 접미사 통계적: 감정 어휘와 공발생하는 형태론적 접미사 (예: -fully, -less) 를 촉진.
구성적 감정: Llama 의 일부 감정 (기쁨, 숭배) 은 단일 특징이 아니라 다중 특징 레시피입니다 (예: 기쁨 = 흥분 게이트 + 경건한 자기; 숭배 = 로맨스 게이트 + 경건한 자기 + SDT 조절기).
아키텍처 간 비대칭성: 엄격한 판단 ("주로 표현함") 하에 Llama 는 27 확장판에서 15/15 커버리지를 달성하는 반면, Gemma 는 11/15 를 달성합니다. 완화된 판단 ("합리적으로 환기함") 하에 두 모델 모두 개선되지만, Llama 는 감정을 직접 명시하는 반면 Gemma 는 이미지를 통해 감정을 환기하므로, 엄격한 기준 하에 Gemma 출력물에 대한 판사 간 합의가 낮아집니다.

4. 크로스 링구얼 구조

게이트: 일반적으로 영어, 프랑스어, 스페인어, 독일어에서 판사 수준에서 전이됩니다. 그러나 Gemma 출력물은 어휘화 순간에 종종 영어로 코드 스위칭하는 반면, Llama 는 모국어 충실도를 유지합니다.
자기: 더 큰 이질성을 보입니다. 일부는 보편적이고, 일부는 영어 기반이며, 일부는 프롬프트 언어에 따라 외국 어휘를 주입합니다.

중요성 및 주장

이 논문은 지시 튜닝된 LLM 이 문학적 공예 원칙을 분리 가능한 SAE 특징의 구성적 아키텍처로 인코딩한다는 것을 입증한다고 주장합니다.

공예의 운영화: "보여주기, 말하지 않기"와 같은 원칙과 특정 감정 상태는 발현된 통계적 상관관계가 아니라 특징 공간에서 조종 가능한 축으로 운영화됩니다.
분류 체계: 저자들은 4 가지 범주의 분류 체계를 제안합니다:
1. 명명 게이트: 어휘/정서적 방출.
2. 자기 특징: 어조 마커 및 문화적 프레임.
3. 조절기: 연속적 어조 제어 (예: SDT).
4. 구성적 감정: 다중 특징 레시피에서 발현.
방법론적 기여: 3 중 검증 파이프라인은 명명 게이트를 식별하기 위한 표준 방법으로 제시되며, 단일 GPU 에서 약 15 분 만에 특징 카탈로그를 발견할 수 있어 트릴리온 토큰 상관관계 마이닝의 필요성을 피합니다.
문학적 기원 가설: 저자들은 (증명하지는 않지만) 이 구성적 아키텍처가 사전 훈련 코퍼스의 문학적 하위 집합 (소설과 명시적 공예 지시 포함) 의 내면화된 흔적일 수 있다고 제안합니다.

이 논문은 아키텍처가 구성적이지만 특정 특징은 컨텍스트에 따라 역할을 변경할 수 있으며, 현재 발견은 두 가지 아키텍처와 네 가지 언어로 제한된다는 점을 지적하며 겸손하게 마무리합니다. 이 연구는 LLM 에서 문학적 공예의 기계적 기초에 대한 추가 실증 연구의 토대로 위치 지어집니다.