기술 요약: 약리학 분야에서 LLM의 형태론적 지름길(Morphological Shortcuts)

문제 정의

대규모 언어 모델(LLM)은 단어의 형태론적 구조(접두사, 접미사, 어근)로부터 의미를 추론하기 위해 이를 빈번하게 일반화한다. 이러한 능력은 인간의 언어 처리 과정을 모방하지만, 약리학과 같은 고도의 전문성이 요구되는 분야에서는 심각한 안전 위험을 초라할 수 있다. 의학에서 약물 명명법은 매우 체계적이며, 세계보건기구(WHO)의 국제 일반명(INN) 시스템은 특정 약리학적 또는 화학적 클래스를 나타내기 위해 접사(affix)를 표준화하여 사용한다. 본 논문은 LLM이 이러한 형태론적 "지름길"에 의존하여 가상의 약물에 대해 자신감 있고 그럴듯해 보이는 임상 콘텐츠를 생성함으로써, 잠재적으로 위험한 과잉 일반화와 환각(hallucination)을 유발하는지 조사한다. 언어적 생산성에 초점을 맞춘 기존 연구와 달리, 본 연구는 이러한 추론이 안전이 민다는 의료 환경에서 초래하는 실질적인 결과를 검토한다.

방법론

1. 자극 및 데이터셋 구축

저자들은 미국 의학 협회(AMA) 목록에 있는 655개의 의학적 접사를 사용하여 통제된 데이터셋을 구축하였다. 각 접사에 대해 세 가지 병렬 자극 조건을 생성하였다:

• 실제 약물 (Real Drugs): 입증된 약물 (예: ampicillin).
• 가짜 약물 (Fake Drugs): 실제 약리학적 접사와 결합된 비어(nonce) 어근 (예: "dimi-"는 비어 어근이고 "-cillin"은 실제 항생제 접사인 경우의 dimicillin).
• 비어 단어 (Nonce Words): 약리학적 형태론이 없는 길이 매칭된 비어 접사와 결합된 비어 어근 (예: dimiglimto), 이는 형태론적 정보가 없는 대조군 역할을 한다.

2. 행동 분석

본 연구는 아홉 가지 LLM(Llama-3.1, Gemini, GPT-5-mini, OLMo, Qwen2.5 및 의료 특화 변형 모델 포함)을 대상으로 두 가지 과업을 평가하였다:

• 객관식 (Multiple-Choice, MC): 모델은 접사와 일치하는 정의, 방해 요소(distractors), 그리고 "존재하지 않는 약물" 옵션 중에서 선택한다.
• 개방형 (Open-Ended, OE): 모델은 자연스러운 사용자 질의(예: "{drug}가 {condition} 치료에 효과적인가?")에 답한다. LLM 판정기(Claude-Sonnet-4.5)는 응답이 가상의 약물을 실제처럼 취급했는지 여부를 평가한다.

3. 진단 프레임워크

모델 지식의 출처(접사, 어근 또는 전체론적 지식)를 결정하기 위해, 저자들은 섭동(perturbation) 기반 프레임워크를 도입하였다. 각 실제 약물($RR$)에 대해 어근($NR$), 접사($RN$), 또는 둘 다($NN$)를 비어 형태로 교체하여 변형을 생성하였다. 저자들은 세 가지 정규화된 점수를 정의하였다:

• 접사 점수 (Affix Score): 접사 단독이 모델의 예측에 기여하는 정도.
• 어근 점수 (Stem Score): 어근 단독이 기여하는 정도.
• 전체론적 점수 (Holistic Score): 올바른 어근과 접사 사이의 상호작용 효과(시너지).

4. 메커니즘 분석

OLMo-3-7B-Instruct 및 Qwen2.5-7B-Instruct를 사용하여 활성화 패칭(activation patching)과 분산 정렬 탐색(Distributed Alignment Search, DAS)을 수행함으로써, 접사 의존적 행동을 유도하는 인과적 메커니즘을 국소화하였다. 저자들은 손상된 입력에서 형태론적 신호를 복구하는 것이 타겟 토큰 확률에 어떻게 영향을 미치는지 측정하고, 모델의 내부 표현에서 조절 가능한 방향(steerable directions)을 식별하였다.

주요 결과

행동적 발견

• 접사 주도 일반화: 모델들은 가짜 약물을 실제 약물처럼 취급하여 접사와 일치하는 정의를 선택하고 자신감 있는 임상 콘텐츠를 생성하는 경яв향을 일관되게 보였다. 이러한 행동은 비어 단어(Nonce words)에 대한 반응보다 유의미하게 강하게 나타났으며, 이는 유효한 접사 구조가 수용을 유도함을 확인시켜 준다.
• 모델 편차: 전문 의료 모델(예: Meditron3-7B, HuatuoGPT)은 가짜, 실제, 심지어 비어 입력까지 모두 유효한 약물로 취급하는 가장 강력한 과잉 일반화를 보였다. 더 큰 모델(예: Llama-3.1-70B)은 객관식 과업에서 더 강한 일반화 경향을 보였다.
• 잠재적 추론 (Silent Reasoning): 객관식 과업에서 모델들은 설명 중에 접사를 명시적으로 언급하지 않으면서도 접사와 일치하는 정의를 자주 선택하였다. 이는 형태론적 단서가 암묵적으로 작동하며, 표면 수준의 설명은 사후적 합리화(post-hoc rationalization) 역할을 함을 시사한다.
• 사실적 혼동 (Factual Conflation): 개방형 과업에서 모델들은 동일한 접사를 공유하는 서로 다른 약물 간의 속성을 혼동하는 경우가 많았으며(예: 하나의 "-ciclib" 약물의 기전을 다른 약물에 부여), 이는 그럴듯하지만 사실적으로 틀린 의학적 조언으로 이어졌다.

진단 프레임워크 결과

• 접사 의존의 보편성: 653개의 약물 전반에 걸쳐, 모델 행동의 상당 부분이 전체론적 약물 지식보다는 주로 접사 단서에 의해 주도되었다.
• 과업 의존성: 객관식 과업에서 모델은 범주화를 위해 접사 의미론에 크게 의존했다. 개방형 과업에서는 전체론적 지식으로 의존도가 이동했으나, 접사 주도 오류는 지속되었다.
• 훈련 상관관계: 전체론적 신호는 훈련 코퍼스 내의 약물 빈도와 양의 상관관계를 보인 반면, 형태론적 신호(접사/어근)는 음의 상관관계를 보여, 저빈도 약물이 형태론적 지름길에 더 취약함을 시사했다.

메커니즘적 결과

• 국소화: 활성화 패칭 결과, 접사 주도 휴리스틱은 트랜스포머의 초기-중기 레이어(대략 레이어 2~10)에 국한되어 있음이 밝혀졌다.
• 2단계 메커니즘: 접사 정보는 초기 레이어에서 주체 표현(subject representation)으로 먼저 통합된 후, 최종 예측 토큰으로 전파된다.
• 인과적 제어: DAS는 이러한 초기-중기 레이어에서 접사 의존성을 양방향으로 조절할 수 있는 저차원 방향(low-rank directions)을 식별했다. 이러한 방향을 조절함으로써 모델의 예측을 "접사 일치"에서 "존재하지 않음"으로, 또는 그 반대로 전환할 수 있음을 확인하여 인과적 연결을 입증했다.
• 훈련 역학: 접사 주도 클래스 신호는 훈련 초기 단계에 등장하여 가짜 약물에도 견고하게 일반화된 반면, 전체론적 표현은 더 나중에 등장하며 특정 약물 정체성에 묶여 있었다.

의의 및 주장

본 논문은 형태론적 지름길이 의료 환경에서 LLM의 신뢰성에 대한 미묘하지만 측정 가능한 위험이라고 주장한다. 주요 주장은 다음과 같다:

1. 체계적 성격: 접사 주도 지름길은 무작위 오류가 아니라, 모델이 형태론적 단서를 통해 약물의 의미를 주로 유도하며 종종 명시적인 표시 없이 발생하는 체계적인 행동이다.
2. 안전 영향: 이러한 지름길은 존재하지 않는 약물에 대해 자신감 있고 그럴듯해 보이는 임상 콘텐츠를 생성하게 하여, 잠재적으로 위험한 오정보를 초래할 수 있다. 형태론에 대한 의존은 출력 수준에서 보이지 않는 경우가 많아 표준적인 출력 감사(auditing)를 통해 탐지하기 어렵다.
3. 메커니즘적 투명성: 본 연구는 이러한 행동이 모델 내부를 통해 메커니즘적으로 국소화되고 인과적으로 제어될 수 있음을 보여주며, 향후 안전 개입 및 감사 도구의 목표를 제시한다.
4. 한계점: 저자들은 진단 프레임워크가 토큰 확률(logits)에 대한 접근을 필요로 하므로, 분석이 오픈 소스 또는 투명한 모델로 제한된다는 점을 언급했다. 또한, 메커니즘 실험은 7B 규모의 모델에서 수행되었으며, 더 큰 아키텍처로의 일반화 가능성은 여전히 미해결 과제로 남아 있다.

이 연구는 의료용 LLM의 행동을 감사하기 위한 프레임워크를 제공하며, 진정한 약리학적 지식과 표면 형태의 외삽(extrapolation)을 구분해야 할 필요성을 강조한다.