Semantic Regexes: Auto-Interpreting LLM Features with a Structured Language

이 논문은 LLM 의 특징을 자연어보다 더 정확하고 일관되며 구조화된 '시맨틱 정규식 (semantic regexes)'으로 자동 해석하여 모델의 이해도를 높이고 새로운 분석을 가능하게 하는 방법을 제안합니다.

핵심

1. 문제: "너무 모호한 설명"

지금까지 AI 연구자들은 AI 가 가진 수천 개의 '기능 (Feature)'을 설명할 때 **자연어 (일반적인 말)**를 사용했습니다.
예를 들어, "이 기능은 정치 뉴스에 나올 때 켜진다"라고 설명하는 거죠.

하지만 자연어는 모호하고 길고, 사람마다 해석이 다릅니다.

• "정치 뉴스"가 정확히 무엇을 의미할까? '대통령'만 포함할까, '선거'도 포함할까?
• 같은 기능을 설명해도 사람 A 는 "정치적 단어"라고 하고, 사람 B 는 "뉴스 제목"이라고 할 수 있어 일관성이 떨어집니다.

2. 해결책: "의미 있는 정규식 (Semantic Regexes)"

저자들은 이 문제를 해결하기 위해 **프로그래밍 언어의 '정규식 (Regular Expression)'**을 차용하되, 사람도 이해할 수 있게 만든 **'의미 있는 정규식 (Semantic Regex)'**을 제안합니다.

비유: "레시피 카드" vs "요리사에게 말로 지시하기"

• 기존 방법 (자연어): "맛있는 국을 끓여줘. 양념은 적당히 하고, 채소는 잘게 썰어." (모호함. '적당히'가 얼마인지, '잘게'가 얼마나 작은지 사람마다 다름)
• 새로운 방법 (의미 있는 정규식): "양념: 3 스푼, 채소: 0.5cm 컷, 재료: [소고기] 또는 [돼지고기] + [양파]". (정확하고, 누구에게나 똑같이 전달됨)

이 새로운 언어는 세 가지 기본 블록과 조합 도구를 사용합니다:

1. 기호 (Symbol): 정확한 단어. (예: [:symbol "Apple":] → 'Apple'이라는 단어만 잡음)
2. 어근 (Lexeme): 단어의 변형. (예: [:lexeme "run":] → 'run', 'runs', 'running' 모두 잡음)
3. 범주 (Field): 의미상 비슷한 단어. (예: [:field "fruit":] → '사과', '바나나', '포도' 등 과일 전체를 잡음)

이것들을 +(연결), |(또는), @{context}(특정 상황일 때) 같은 규칙으로 조합하면, AI 가 어떤 상황에서 켜지는지 정확하고 간결하게 표현할 수 있습니다.

3. 왜 이것이 더 좋은가요? (세 가지 장점)

① 정확하면서도 짧습니다 (Conciseness)

자연어로 "이 기능은 정치 뉴스에서 대통령 이름이 나올 때 켜집니다"라고 20 자로 설명할 수 있지만, 의미 있는 정규식은 @{:context politics:}([:field president:][:symbol name:])처럼 짧고 명확한 코드로 표현합니다. 불필요한 수식어가 없어 핵심을 바로 파악할 수 있습니다.

② 일관성이 있습니다 (Consistency)

AI 에는 같은 역할을 하는 '중복된 기능'들이 여러 개 있을 수 있습니다. 자연어로 설명하면 하나는 "정치적 단어", 다른 하나는 "선거 관련 용어"로 다르게 설명될 수 있어 중복인지 알기 어렵습니다. 하지만 의미 있는 정규식은 똑같은 패턴을 똑같은 코드로 표현하므로, "아, 이 두 기능은 똑같은 역할을 하는구나!"라고 중복을 쉽게 찾아낼 수 있습니다.

③ AI 의 복잡도를 측정할 수 있습니다 (Complexity)

AI 의 깊은 층 (Layer) 으로 갈수록 기능이 더 복잡해집니다.

• 초기 층: 단순한 단어만 감지 (예: [:symbol "the":]) → 코드가 짧고 단순함.
• 후기 층: 복잡한 문맥과 개념을 감지 (예: @{:context legal:}([:field law:]|[:field court:])) → 코드가 길고 복잡함.
  이 코드의 길이와 구조를 보면 AI 가 어느 단계에서 얼마나 복잡한 생각을 하는지 한눈에 파악할 수 있습니다.

4. 실제 실험 결과: 사람이 이해하기 쉽다

저자들은 AI 전문가 24 명을 대상으로 실험을 했습니다.

• 자연어 설명을 들은 사람들은 "정치적"이라는 단어에 집중하다가, 실제 AI 가 반응하지 않는 문장까지 반응할 것이라고 오해하는 경우가 많았습니다. (불필요한 정보에 혼란을 느낌)
• 의미 있는 정규식을 본 사람들은 정확한 패턴을 파악하여, AI 가 반응할 문장과 반응하지 않을 문장을 훨씬 정확하게 구분해냈습니다.

5. 결론: "AI 의 두뇌를 읽는 새로운 언어"

이 논문은 AI 의 내부 작동 원리를 설명할 때, 모호한 자연어 대신 구조화된 언어를 사용해야 한다는 것을 증명했습니다.

이는 마치 컴퓨터의 복잡한 회로를 설명할 때, "전기가 흐르는 곳"이라고 말하기보다 "전선 A 와 B 가 연결되어 있다"라고 정확히 설명하는 것과 같습니다.

이 방법은 AI 의 안전성을 높이고, AI 가 왜 그런 결정을 내리는지 더 명확하게 이해하는 데 큰 도움을 줄 것입니다. 앞으로 AI 를 더 잘 이해하고 통제하는 데 필수적인 '공통 언어'가 될 것으로 기대됩니다.

기술 요약

Semantic Regexes: LLM 특징을 구조화된 언어로 자동 해석 (Semantic Regexes: Auto-Interpreting LLM Features with a Structured Language)

이 논문은 대규모 언어 모델 (LLM) 의 내부 특징 (features) 을 인간이 이해할 수 있는 방식으로 설명하는 자동 해석 (Automated Interpretability) 분야에서 자연어 (Natural Language) 의 한계를 극복하기 위해 제안된 Semantic Regexes(의미 정규식) 를 소개합니다. 연구진은 자연어 설명이 모호하고 일관성이 부족하며 수동 재표시 (relabeling) 가 필요하다는 문제를 해결하기 위해, 정규 표현식 (Regular Expressions) 의 구조적 이점을 차용한 새로운 설명 언어를 개발했습니다.

1. 문제 제기 (Problem)

LLM 은 잠재 공간 (latent space) 의 선형 방향인 '특징 (features)'으로 개념을 표현합니다. 자동 해석 기술은 이러한 특징이 활성화되는 패턴을 분석하여 인간이 읽을 수 있는 설명을 생성합니다. 그러나 기존 방법들은 자연어를 사용하여 설명을 생성하는데, 이는 다음과 같은 심각한 한계를 가집니다:

• 모호성과 일관성 부족: 자연어는 유연하지만 모호하여, 동일한 기능을 가진 특징에 대해 서로 다른 설명이 생성되거나 불필요한 세부 사항이 포함될 수 있습니다.
• 정밀도 부족: 특징의 계산적 역할을 정밀하게 정의하기 어렵고, 복잡한 추론 (예: 특징의 복잡성 측정, 중복 특징 식별) 에 적합하지 않습니다.
• 수동 개입 필요: 최근 연구에서도 특징 회로 (feature circuits) 를 식별할 때 숙련된 인간의 수동 재표시가 여전히 필요하다는 보고가 있습니다.

2. 방법론 (Methodology)

연구진은 Semantic Regexes라는 구조화된 언어를 도입하여 LLM 특징의 활성화 패턴을 설명합니다. 이 언어는 자연어의 유연성과 구조화된 언어의 정밀함을 결합합니다.

2.1 Semantic Regex 언어의 구성

이 언어는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. **Primitives **(원시 요소): 텍스트 패턴의 기본 단위를 정의합니다.
   • [:symbol X:]: 정확한 문자열 X 와 일치 (예: 특정 토큰).
   • [:lexeme X:]: 단어의 구문적 변형 (시제, 단수/복수 등) 을 포함하여 일치 (예: 'color', 'colors', 'coloring').
   • [:field X:]: 개념적 도메인 내의 의미적 변형과 일치 (예: 'red', 'blue' 등 색상 개념).
2. **Modifiers **(수정자): 원시 요소의 범위를 확장하고 정제합니다.
   • **Context **(@{:context X:}(S)) 특정 맥락 (예: 정치) 에서만 활성화되는 패턴을 매칭.
   • **Composition **(연결 및 선택) 순서 (S1 S2) 나 선택 (S1 | S2) 을 통해 복잡한 패턴 표현.
   • **Quantification **(양화) 선택적 요소 (?) 를 사용하여 유연성 부여.

2.2 실험 파이프라인

기존의 자동 해석 파이프라인을 기반으로 Semantic Regex 를 적용했습니다.

• 모델: GPT-2-Small, Gemma-2-2B 등 다양한 모델과 층 (layer) 의 특징을 사용.
• **생성기 **(Explainer) GPT-4o-mini 를 사용하여 특징의 활성화 데이터를 바탕으로 자연어 또는 Semantic Regex 설명을 생성.
• **평가기 **(Evaluator) 생성된 설명이 특징의 실제 행동과 얼마나 일치하는지 평가 (생성, 구별, 충실도 지표 사용).
• 비교 대상: 기존 자연어 설명 방법 (token-act-pair, max-acts) 과 성능을 비교.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 정확도 유지 (Accuracy)

• 결과: Semantic Regex 는 자연어 설명과 동등한 정확도를 보였습니다.
• 의미: 구조화된 언어로 설명을 제한하더라도 특징의 표현력 (expressivity) 이 떨어지지 않음을 입증했습니다. GPT-2 와 Gemma-2 모델 전반에서 구별 (discrimination), 생성 (generation), 충실도 (faithfulness) 지표에서 자연어와 통계적으로 유의미한 차이가 없거나 더 우수한 성능을 보였습니다.

3.2 간결성과 일관성 향상 (Conciseness & Consistency)

• 간결성: Semantic Regex 설명은 자연어 설명보다 훨씬 짧았습니다 (중앙값 41 자 vs 139 자). 불필요한 설명을 제거하고 핵심 패턴만 포함하여 인간이 빠르게 이해하기 용이합니다.
• 일관성: 동일한 기능을 가진 중복 특징 (redundant features) 에 대해 Semantic Regex 는 자연어보다 훨씬 일관된 설명을 생성했습니다.
  • 예시: 'Advertisement' 토큰을 활성화하는 두 개의 다른 특징에 대해 자연어는 "the word Advertisement"와 "advertisement markers"로 다르게 설명했으나, Semantic Regex 는 모두 [:symbol Advertisement:]로 동일하게 표현했습니다. 이는 특징 회로 분석 시 중복성을 쉽게 식별하게 해줍니다.

3.3 특징 복잡성 측정 (Feature Complexity)

• 구조적 이점: Semantic Regex 의 구성 요소 수와 추상화 수준 (symbol < lexeme < field) 을 통해 특징의 복잡성을 정량화할 수 있습니다.
• 발견: 모델의 깊은 층 (deeper layers) 일수록 더 길고 추상적인 (복합적인) Semantic Regex 가 필요함을 확인했습니다. 이는 기존 연구 (층이 깊어질수록 표현이 복잡해짐) 를 지지하며, 별도의 프로브 (probe) 없이 설명 텍스트 자체에서 모델의 구조적 특성을 읽을 수 있게 합니다.

3.4 인간 인지 모델 향상 (User Study)

• 실험: 24 명의 AI 전문가를 대상으로 한 사용자 연구에서, Semantic Regex 설명을 받은 참가자가 특징의 결정 경계 (decision boundary) 를 더 정확하게 이해하고, 활성화되는 예시와 비활성화되는 반례 (counterfactual) 를 더 잘 생성했습니다.
• 이유: 자연어 설명의 불필요한 세부 사항이 오해를 불러일으켰던 반면, Semantic Regex 는 명확한 패턴을 직접 제시하여 모호성을 줄였습니다. 참가자들은 짧은 설명만으로도 구조화된 언어를 쉽게 이해하고 활용했습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 연구는 LLM 해석 가능성 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 새로운 설명 패러다임: 자연어에 의존하던 기존 방식을 넘어, 구조화된 언어 (Structured Language) 가 자동 해석의 표준이 될 수 있음을 입증했습니다.
2. 확장성: 일관성 있고 간결한 설명은 수천 개의 특징을 분석하는 대규모 해석 작업과 특징 회로 (circuit) 식별을 자동화하는 데 필수적입니다.
3. 모델 이해도 증진: 특징 설명의 구조를 통해 모델 내부의 복잡성 추이를 직접 관찰할 수 있으며, 이는 모델의 안전성 (safety) 과 정렬 (alignment) 평가에 중요한 통찰을 제공합니다.
4. 미래 지향성: Semantic Regex 는 다양한 해석 작업 (입력/출력 특징 강조, 특정 컴포넌트 설명 등) 에 맞춰 진화할 수 있는 유연한 설계 공간을 제시합니다.

결론적으로, Semantic Regex 는 LLM 의 내부 작동 원리를 더 정확하고, 일관되며, 인간이 이해하기 쉬운 방식으로 전달하는 강력한 도구로, 향후 자동 해석 기술의 발전에 핵심적인 역할을 할 것으로 기대됩니다.