🤖 AI

LINE: LLM-based Iterative Neuron Explanations for Vision Models

이 논문은 비전 모델의 개별 뉴런에 대한 개방형 어휘 개념 레이블을 반복적으로 발견하고 정제하기 위해 대규모 언어 모델과 텍스트-이미지 생성기를 활용하는 학습이 필요 없는 블랙박스 프레임워크인 LINE 을 소개하며, 이는 사전 정의된 어휘가 놓친 새로운 개념을 발굴하고 최첨단 성능을 달성합니다.

원저자: Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vladimir Zaigrajew, Michał Piechota, Gaspar Sekula, Paweł Gelar, Przemysław Biecek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 한 장의 사진을 보고 그것이 무엇인지 알려줄 수 있는 초지능 로봇이 있다고 가정해 봅시다. 하지만 함정이 하나 있습니다. 그 로봇은 '블랙박스'입니다. 사진이 입력되고 답이 출력되는 것은 볼 수 있지만, 로봇이 그 답을 어떻게 결정했는지는 전혀 알 수 없습니다. 로봇의 뇌 안에는 뉴런이라고 불리는 수십억 개의 작은 스위치들이 들어 있습니다. 어떤 스위치는 로봇이 '개'를 볼 때 켜지고, 다른 스위치는 '나무'를 볼 때 켜지지만, 어느 것이 어느 것인지 우리는 모릅니다.

오랫동안 과학자들은 이러한 스위치들에 라벨을 붙이려 노력해 왔지만, 그들은 1,000 개의 미리 작성된 이름 목록만을 이용해 용의자의 이름을 추측하려는 탐정들과 같았습니다. 로봇이 '빨간 소화전'처럼 구체적인 무언가를 생각하고 있는데, 그 정확한 문구가 목록에 없다면, 그들은 단순히 '불'이나 '빨강'이라고 추측할 뿐, 실제 핵심을 놓치고 맙니다.

이제 LINE(LLM 기반 반복적 뉴런 설명)이 등장합니다. LINE 을 단순한 목록에서 추측하는 것이 아니라 '추측과 확인' 게임을 통해 올바른 설명을 창조해 내는 창의적인 탐정 팀으로 생각하세요.

다음은 LINE 이 작동하는 단계별 과정입니다:

1. 초기 추측 (스코어보드)

LINE 은 거친 추측으로 시작합니다. '풀 테이블'이나 '바벨'과 같은 일반적인 것들의 목록을 살펴보고, 어떤 것들이 뉴런을 약간 켜는지 확인합니다. 그리고 이것들을 스코어보드에 올립니다.

비유: 신비로운 물체를 설명하려고 한다고 상상해 보세요. 당신은 "의자일까요? 아니요. 테이블일까요? 조금은요"라고 말하며 시작합니다.

2. 창의적 루프 (마법 팀)

이제 LINE 이 똑똑해집니다. 두 가지 AI 도구가 협력하여 작동합니다:

**작가 **(LLM) 브레인스토밍 파트너처럼 행동하는 대규모 언어 모델입니다. 현재 스코어보드를 보고 "이봐, '풀 테이블'과 '바벨' 모두 이 뉴런을 켜고 있군. 아마도 물체 자체에 대한 것이 아니라 운동에 관한 것일까?"라고 말합니다.
**예술가 **(텍스트 - 이미지 모델) 작가가 '근력 운동'과 같은 새로운 아이디어를 제안하면, 예술가는 즉시 웨이트 리프팅, 요가, 스포츠를 하는 사람들의 50 가지 다른 그림을 즉석에서 그립니다.

3. 현실 점검 (테스트)

LINE 은 그 50 개의 새로운 그림을 로봇의 뇌로 다시 입력합니다.

만약 뉴런이 '근력 운동' 그림에 대해 밝게 켜진다면, 작가는 높은 점수를 받습니다.
만약 뉴런이 어둡게 남아 있다면, 점수는 낮습니다.

4. 정제 (반복)

팀이 이 루프를 반복합니다.

1 회차: "아마도 체육관일까?" (점수: 보통).
2 회차: "아마도 웨이트 리프팅일까?" (점수: 더 좋음).
3 회차: "아마도 구체적으로 '근력 운동'일까?" (점수: 훌륭함).

이 과정은 완벽한 설명을 찾을 때까지 아이디어를 정제하며 계속됩니다. 마지막으로, 그들은 최상위 몇 가지 아이디어를 가져와 작가에게 이를 하나의 큰 개념 (예: '신체 운동') 으로 요약하도록 요청합니다.

이것이 왜 중요한가요?

1. '목록' 규칙을 깨뜨립니다.
기존 방법들은 고정된 단어 메뉴에 갇혀 있었습니다. 로봇이 '네 기둥 침대'에 대해 생각하고 있다면, 기존 방법은 단순히 '침대'나 '침실'이라고 말했을 것입니다. LINE 은 로봇이 실제로 '네 기둥'이라는 특정 스타일에 대해 생각하고 있음을 깨달았습니다. LINE 은 기존 목록이 놓친 새로운 개념을 27% 더 많이 찾아냈습니다.

2. 증명하기 위해 그림을 그립니다.
단순히 단어를 말하는 대신, LINE 은 뉴런을 미치게 만드는 이미지를 그립니다. 마치 로봇이 "이 뉴런이 '거미'를 위한 것임을 안다. 내가 그린 거미줄 그림을 봐라. 이 그림이 뉴런을 비명을 지르게 만든다!"라고 말하는 것과 같습니다. 이는 라벨이 실제로 정확한지 증명하는 데 도움이 됩니다.

3. 속을 들여다보지 않고도 작동합니다.
대부분의 방법은 과학자들이 내부 수학 (기울기) 을 볼 수 있도록 로봇을 '열어두어야' 합니다. LINE 은 블랙박스처럼 작동합니다. 로봇과 대화하고, 그림을 보여주고, 반응을 듣기만 할 뿐입니다. 이는 가장 비밀스러운 로봇조차도 작동시킬 수 있음을 의미합니다.

결과

이 논문은 ResNet 과 ViT 와 같은 유명한 로봇 뇌들에서 LINE 을 테스트했습니다.

더 높은 점수: 이전 방법들보다 훨씬 높은 정확도 점수를 기록했습니다 (최대 0.11 점 향상으로, 이 분야에서 이는 매우 큽니다).
새로운 발견: 많은 뉴런이 단순히 한 가지 것을 찾는 것이 아니라, '바벨' 대신 '운동'과 같은 범주를 찾고 있음을 발견했습니다.
시각적 증명: 생성된 그림들은 이전 방법들이 만들어낸 기이하고 흐릿한 이미지들보다 훨씬 더 선명하고 자연스러웠습니다.

함정 (한계점)

저자들은 결함에 대해 솔직합니다:

시작 편향: LINE 이 ImageNet 과 같은 일반적인 것들의 목록으로 시작하기 때문에, 그 시작 목록에 없다면 특정 의학적 상태와 같이 매우 드물거나 전문적인 것들을 놓칠 수 있습니다.
한 번에 하나의 아이디어: 때로는 뉴런이 '다의적'으로, '개'와 '불'처럼 완전히 다른 두 가지 것에 모두 관심을 가집니다. LINE 은 보통 가장 강력한 하나를 선택하고 두 번째 것을 놓칠 수 있습니다.
예술가의 실수: 그림 도구 (텍스트 - 이미지 모델) 가 나쁜 그림을 그리면, 아이디어가 좋았더라도 테스트가 실패할 수 있습니다.

요약

LINE 은 AI 뇌를 이해하는 새로운 방법입니다. AI 를 미리 만들어진 단어 상자에 억지로 맞추는 대신, 아이디어를 제안하고, 그것을 그리고, 그것을 테스트하는 창의적인 루프를 사용하여 AI 가 실제로 생각하고 있는 정확한 인간이 읽을 수 있는 설명을 찾아냅니다. 이는 단순히 단어를 추측하는 것이 아니라, 의미를 정확히 이해했는지 확인하기 위해 그림을 그리는 번역가와 같습니다.

기술 요약: LINE (비전 모델을 위한 LLM 기반 반복적 뉴런 설명)

문제 제기

심층 신경망 (DNN) 의 개별 뉴런을 해석하는 것은 복잡한 의사결정 과정을 이해하고, 특히 의료 및 사법과 같은 고위험 분야에서 AI 안전을 보장하는 데 필수적입니다. 기계적 해석 가능성 (mechanistic interpretability) 은 국소화된 의사결정 회로를 밝혀내려는 목표를 가지고 있지만, 신경 활동을 인간이 이해할 수 있는 의미론적 개념으로 자동 변환하는 것은 여전히 중요한 과제로 남아 있습니다.

기존 뉴런 라벨링 방법은 두 가지 주요 한계를 겪고 있습니다:

사전 정의된 어휘에 대한 의존성: 많은 접근법 (예: Network Dissection, CLIP-Dissect) 은 고정된 개념 집합에 제한되어 있어, 종종 정확한 기준 진실 (ground truth) 이 부족하거나 고차원적, 전역적 개념을 포착하지 못합니다.
너무 구체적이거나 단단한 설명: 텍스트 생성 모델을 활용한 방법 (예: MILAN) 은 종종 설명이 너무 협소하여 더 넓은 의미론적 추상화로 일반화되지 못합니다.
기울기 의존성: 시각적 설명에 사용되는 활성화 최대화 (Activation Maximization, AM) 방법은 일반적으로 기울기 기반 최적화에 의존합니다. 이는 메모리 오버헤드를 발생시키고, 미분 가능성을 요구하며, 종종 구형 텍스트 - 이미지 (T2I) 모델과의 호환성으로 제한되는 반면, 비자연스러운 아티팩트가 포함된 이미지를 생성합니다.

방법론: LINE 프레임워크

저자들은 비전 모델의 오픈 - 어휘 개념 라벨링을 위해 설계된 새로운, 훈련이 불필요한 (training-free), 블랙박스 프레임워크인 LINE(LLM 기반 반복적 뉴런 설명) 을 소개합니다. LINE 은 대상 모델의 기울기나 훈련 데이터에 접근할 필요 없이 대규모 언어 모델 (LLM) 과 텍스트 - 이미지 (T2I) 생성기를 활용하는 폐쇄 루프 반복 프로세스로 작동합니다.

이 프레임워크는 루프 내에서 작동하는 네 가지 핵심 구성 요소로 구성됩니다:

초기화: 이 과정은 ImageNet-1K 검증 세트의 라벨을 사용하여 "개념 점수판"( $H$ ) 을 초기화함으로써 시작됩니다. 각 클래스에 대해 일련의 이미지를 대상 비전 모델에 통과시켜 초기 뉴런 활성화 값을 추출하고, 기준선 점수 벡터를 설정합니다. 점수판에는 최상위 점수를 받은 초기 라벨과 탐구와 활용의 균형을 맞추기 위한 무작위 라벨 세트가 채워집니다.
개념 제안 (LLM): 각 반복에서 LLM 은 현재 점수판 (특히 최상위 점수 개념과 그 이력) 을 분석하여 새로운, 정제된 개념 설명을 제안합니다. LLM 은 이전에 제안된 용어를 피하면서 기존 고점수 개념을 일반화하거나, 통합하거나, 창의적으로 결합하도록 안내받습니다.
이미지 합성 (T2I): 제안된 개념은 다양한 합성 이미지를 생성하기 위해 T2I 모델 (예: Stable Diffusion XL) 로 전달됩니다. 프롬프트 템플릿에는 시각적 다양성을 보장하기 위해 각도와 조명 변형이 포함됩니다.
활성화 추출 및 점수 매기기: 생성된 이미지는 대상 비전 모델에서 처리되어 특정 뉴런의 활성화 벡터를 추출합니다. 점수 함수 ( $\psi_{avg}$ ) 는 생성된 세트에 대한 평균 활성화를 계산합니다. 이 연속적인 점수는 제안된 개념의 정확성을 정량화합니다. 점수판은 새로운 개념과 그 점수로 업데이트됩니다.

최종 요약 단계: $N$ 번의 반복 후, 최종 요약 단계가 실행됩니다. LLM 은 최종 이력에서 최상위 점수 개념들을 통합하는 단일 고수준 전역 개념을 종합하도록 프롬프트를 받아, 더 넓은 의미론적 추상화를 제공합니다.

이 방법은 아키텍처에 구애받지 않으며, 합성곱 신경망 (CNN) 과 비전 트랜스포머 (ViT) 모두에 적용 가능하며, 다양한 T2I 모델 (SD1.5, SDXL, FLUX.1) 을 지원합니다.

주요 기여

본 논문은 다음과 같은 기여를 제시합니다:

최첨단 뉴런 라벨링: LINE 은 텍스트 뉴런 설명을 평가하기 위한 통합적이고 아키텍처에 구애받지 않는 벤치마크인 CoSy(Concept Synthesis) 벤치마크에서 우수한 성능을 달성합니다.
사전 정의된 어휘를 넘어선 접근: 반복적 정제 과정을 통해 LINE 은 사전 정의된 어휘에만 의존하는 방법들이 놓치는 새로운, 매우 해석 가능한 개념들을 발견할 수 있습니다.
기울기 없는 시각적 설명: 기울기를 통한 픽셀 값 최적화 대신 텍스트 설명을 최적화함으로써, LINE 은 활성화 최대화 (Activation Maximization) 에 대한 기울기 없는 대안을 제공합니다. 이는 최신 T2I 모델의 사용을 가능하게 하고, 기울기 기반 AM 에서 흔히 발생하는 아티팩트 없이 더 깨끗하고 자연스러운 시각적 설명을 생성합니다.
투명성 및 다의성 평가: 단일 통과 방식과 달리 LINE 은 완전한 생성 이력을 유지합니다. 이는 뉴런 다의성 (여러 개념을 감지하는 뉴런) 평가와 각 개념 제안의 근거를 제공합니다.

실험 결과

저자들은 여러 아키텍처 (ResNet18/50, ViT-B/16, DINOv3) 와 데이터셋 (ImageNet, Places365) 에 걸쳐 LINE 을 평가했습니다.

정량적 성능: CoSy 벤치마크에서 LINE 은 CLIP-Dissect, INVERT, DnD 를 포함한 베이스라인을 크게 능가했습니다.
- AUC 개선: LINE 은 ImageNet 훈련 모델에서 0.11까지, Places365 훈련 모델에서 0.05까지의 AUC 개선을 달성했습니다.
- MAD 개선: 평균 활성화 차이 (Mean Activation Difference, MAD) 점수도 일관되게 높아 제안된 개념과 뉴런 활성화 간의 강한 정렬을 나타냈습니다.
- 통계적 유의성: Wilcoxon 부호 순위 검정은 이러한 개선이 대부분의 구성에서 통계적으로 유의미함을 확인했습니다.
새로운 개념 발견: 최종 최상위 점수 개념에 대한 분석은 LINE 의 반복적 과정이 뉴런의 상당 부분에 대해 새로운, 사전 정의되지 않은 라벨을 생성했음을 보여주었습니다:
- 최상위 개념의 평균 **27%**가 새로 발견되었습니다 (초기 어휘에서 유래하지 않음).
- 특정 레이어는 **36%**까지의 발견율을 보였습니다 (예: Places365 의 ResNet18).
정성적 및 인과적 검증:
- 시각적 설명: LINE 은 DiffExplainer 와 DEXTER 에서 생성된 것보다 더 해석 가능하고 자연스러운 시각적 설명을 생성했습니다. DiffExplainer 는 종종 더 높은 활성화 값을 달성했지만, 저자들은 이를 기울기 기반 최적화에서 흔히 발생하는 비기술적 시각적 아티팩트 (노이즈) 의 활용에 기인한다고 보았습니다.
- 인과적 제거 실험: 이미지 - 이미지 생성 모델을 사용하여 저자들은 식별된 개념을 이미지에서 제거하는 제거 실험을 수행했습니다. 이는 뉴런 활성화의 유의미한 감소 (종종 거의 0 에 가까움) 를 초래하여, 라벨과 뉴런 행동 간의 인과적 관계를 검증했습니다.
제거 실험 (Ablation Studies):
- 반복 횟수: 성능은 처음 5~6 번의 반복에서 빠르게 향상되었으며, 14 번 반복까지 꾸준한 이득을 보인 후 정체되었습니다.
- T2I 모델: FLUX.1 이 SDXL 보다 약간 더 높은 활성화 점수를 생성했지만, 그 차이는 통계적으로 유의미하지 않았습니다. 메모리 오버헤드가 낮아 SDXL 이 주요 실험에 선택되었습니다.

중요성과 주장

본 논문은 LINE 을 더 투명하고 책임 있는 비전 모델로의 기초적인 단계로 위치시킵니다. 그 중요성은 다음과 같습니다:

훈련 불필요 및 블랙박스 호환성: 내부 기울기, 훈련 데이터, 또는 모델 가중치에 대한 접근 없이 DNN 을 감사할 수 있는 확장 가능한 솔루션을 제공하여, 독점적이거나 레거시 모델에도 적용 가능합니다.
모듈화 및 미래 대비: 프레임워크의 모듈식 설계는 파이프라인을 재훈련하지 않고도 LLM 과 T2I 모델의 향후 발전을 원활하게 통합할 수 있게 합니다.
안전 및 해석 가능성: 텍스트 및 시각적 설명을 모두 제공함으로써 LINE 은 모델 편향을 식별하고 의사결정 회로를 이해하는 데 도움을 주어, 안전 - 중요 애플리케이션에 AI 를 배포하는 데 필수적입니다.

저자들은 ImageNet 초기화에서 유래할 수 있는 잠재적 편향과 전문 분야 (예: 의료 영상) 에 어려움을 겪을 수 있는 생성 모델에 대한 의존성을 포함한 한계를 인정합니다. 또한 다의성 뉴런의 경우 파이프라인이 단일 지배적 개념으로 수렴할 수 있음을 지적하며, 향후 연구에서는 2 차 의미론적 트리거를 탐색하기 위해 파이프라인을 재시작하는 작업을 포함할 수 있음을 제안합니다.