💻 computer science

Drosophila Connectome Topology Provides No Measurable Language- Model Advantage: A Preregistered Negative Experimental Program

이 사전 등록된 연구는 초파리 뇌의 위상 구조가 언어 모델을 개선할 수 있는지 체계적으로 테스트하였으며, 다양한 구조적 통합에도 불구하고 초파리 유래 배선이 음의 로그 가능도를 줄이거나 연상 검색을 개선하는 데 있어 무작위, 차수 일치 또는 바닐라 베이스라인 대비 측정 가능한 이점을 제공하지 못한다는 것을 발견했다.

원저자: Vladislav Matyukhin

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vladislav Matyukhin

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수십 년 동안 인공지능 세계에는 조용한 희망이 지속되어 왔습니다. 그것은 바로 살아있는 뇌의 무질서하고 생물학적인 배선이 더 똑똑한 기계를 만드는 비밀을 품고 있을지도 모른다는 희망이었습니다. 그 아이디어는 단순합니다. 진화는 동물의 뉴런 사이의 연결을 정교하게 다듬는 데 수백만 년을 소비하며, 효율적이고 모듈화되어 있으며 학습 능력이 놀라울 정도로 뛰어난 네트워크를 만들어냈습니다. 만약 우리가 그 특정한 연결 패턴, 즉 '배선도'를 복사하여 언어를 이해하도록 설계된 컴퓨터 프로그램에 붙여넣을 수 있다면, 컴퓨터가 더 빠르게 배우거나 더 명확하게 생각할 수 있을지도 모릅니다. 이 희망은 단순한 은유가 아닙니다. 이는 검증 가능한 질문입니다. 뇌의 물리적 지도가 머신러닝 모델을 위한 유용한 시작점, 즉 '귀납적 편향(inductive bias)' 역할을 할 수 있을까요? 이를 알아내기 위해 연구자들은 초파리(Drosophila melanogaster)를 연구 대상으로 삼았습니다. 과학자들은 이미 성체 초파리의 전체 신경계를 매핑하여 약 139,000개의 뉴러온과 수천만 개의 연결을 식별해 냈습니다. 커넥톰(connectome)이라 불리는 이 지도는 현존하는 어떤 동물 뇌보다도 상세한 배선도입니다. 이제 문제는 이 특정한 생물학적 청사진이 실제로 언어 컴퓨터를 개선할 수 있는지, 아니면 초파리 뇌의 복잡성이 인간의 단어를 처리하는 작업과는 너무나 다른 것인지였습니다.

한 연구자가 엄격하고 사전에 계획된 실험을 통해 이 질문에 답하고자 했습니다. 그는 단순히 초파리의 뇌가 도움이 될 것이라고 추측한 것이 아니라, 데이터를 수집하기 전에 승리 규칙을 미리 작성해 둔 일련의 엄격한 테스트를 설계했습니다. 목표는 초파리의 배선도를 사용하는 것이 무작위 연결을 사용하거나 특별한 지도 없이 사용하는 경우와 비교했을 때, 작은 언어 모델이 문장에서 다음 단어를 예측하는 능력을 향상시키는지 확인하는 것이었습니다. 그는 초파리의 해부학적 구조를 사용하는 몇 가지 다른 방법들을 테스트했습니다. 첫째, 그는 이 지도를 컴퓨터가 문장의 서로 다른 부분에 주의를 기울이는 가이드로 사용했습니다. 그다음, 그는 표준적인 컴퓨터 처리 엔진의 일부를 정보를 확장하고 필터링하는 것으로 유명한 초파리의 후각 체계의 고정된 복사본으로 교체했습니다. 마지막으로, 그는 초-기억(silent engram)이라는 개념, 즉 정보가 숨겨져 있다가 특정 '상기' 신호가 있어야만 인출될 수 있는 방식에서 영감을 얻은 더 복잡한 아이디어를 테스트했습니다.

결과는 명확하고 일관적이었습니다: 초파리의 배선도는 측정 가능한 이점을 제공하지 않았습니다. 초파리의 지도를 사용하여 컴퓨터의 주의력을 유도했던 첫 번째 테스트 세트에서, 모델은 지도가 없는 모델보다 나은 성능을 보이지 않았습니다. 실제로 연구자가 초파리 기반 모델을 동일한 크기의 완전히 무작위적인 네트워크와 비교했을 때, 무작위 네트워크가 종종 비슷하거나 더 나은 성능을 보였습니다. 연구자는 초파리의 지도가 흥미로운 패턴을 포함하고 있기는 하지만, 그 패턴이 언어의 구문이나 사실을 이해하는 능력을 공백 상태보다 더 낫게 만들어주지는 않는다는 것을 발견했습니다. 한 가지 구체적인 테스트는 초파리 뇌의 가공되지 않은 연결들을 가져와 단어 사이의 관계를 예측하는 데 사용한 것이었습니다. 초파리 지도가 자신의 뒤섞인 버전을 이길 수는 있었지만, 지도가 아예 없는 기본 상태(baseline)를 이기지는 못했습니다. 성능 차이는 매우 작아서 통계적으로 무작위 확률과 구별할 수 없는 수준이었습니다.

실험은 초-파리의 뇌를 표준 컴퓨터 구성 요소의 대체제로 테스트하는 단계로 나아갔습니다. 연구자는 감각 입력을 확장하고 필터링하는 초파리 뇌의 부분을 가져와, 이를 언어 모델을 위한 고정된 프로세서로 작동하도록 고정시켰습니다. 그는 이 생물학적 구조가 정보를 처리하는 데 더 우월한 방식이 될 것이라 기대했습니다. 그러나 컴퓨터는 동일한 크기의 단순한 무작위 네트워크를 사용할 때보다 성능이 떨어졌습니다. 생물학적 확장은 언어 처리를 위한 마법의 열쇠가 아니었습니다; 이 맥락에서 그것은 표준적인 비구조적 네트워크보다 덜 효율적인 도구였습니다. 또한 연구자는 'silent engram' 아이디어를 테스트했습니다. 초파리에게 있어 기억은 일반적인 점검에는 보이지 않게 저장되었다가 특정 화학적 신호가 상기 역할을 할 때만 접근 가능해지는 방식으로 저장될 수 있습니다. 연구자는 이 생물학적 트릭을 모방하여 컴퓨터 시스템을 구축하고, 이 방식이 표준적인 컴퓨터 메모리보다 이점을 제공하는지 확인하려 했습니다. 그는 생물학적 방식처럼 작동하는 시스템을 구축할 수는 있었지만, 훨씬 더 단순하고 일반적인 컴퓨터 프로그램이 정확히 똑같은 일을 똑같이 잘 수행할 수 있다는 것을 발견했습니다. 초파리의 특정한 기억 은닉 방식은 독특하거나 우월하지 않았습니다. 제약이 있는 일반적인 선택자(selector)가 복잡한 생물학적 청사진을 필요로 하지 않고도 동일한 결과를 달성할 수 있었습니다.

연구자가 초파리의 뇌를 냄새를 인식하는 방식과 유사하게 정보를 찾는 도구로 사용하려 했던 시도조차 표준적인 방법들을 능가하지 못했습니다. 초파리의 확장 메커니즘을 데이터 조회 방식으로 사용했을 때, 무작위 확장 방식이 더 효과적이었습니다. 밀집된 표준 컴퓨터 방식이 올바른 정보를 검색하는 데 훨씬 더 우수했습니다. 또한 연구는 초파리의 중앙 복합체(central complex), 즉 항해와 방향 감각을 담당하는 뇌 부위를 살펴보았습니다. 그는 이 구조가 컴퓨터 내에서 정보를 일정 시간 유지하는 안정적인 기억 루프로 작용할 수 있는지 테스트했습니다. 테스트 결과, 초파리의 구조는 무작위 네트워크보다 정보를 더 잘 유지하지 못했습니다. 사실, 정보는 대조군보다 더 빨리 사라졌습니다.

연구 전반에 걸쳐 연구자는 자신이 테스트한 것과 테스트하지 않은 것을 명확히 구분했습니다. 그는 초파리의 뇌가 모든 머신러닝에 쓸모없다고 주장하거나, 뇌가 컴퓨터의 나쁜 모델이라고 말한 것이 아닙니다. 그는 단지 이러한 특정한 시도들, 즉 초파리의 배선을 언어 모델에 복제하려는 시도가 작동하지 않았음을 보여주었을 뿐입니다. 배경에서 참조로 사용된 8억 개의 파라미터를 가진 모델은 초파리 지도 덕분에 더 우수하다고 증명된 것이 아니며, 그 성능은 별도로 측정되었고 코넥톰 실험의 일부가 아니었습니다. 연구는 초파리와 유사한 희소한(sparse), 가족 수준의 통신을 사용하는 컴퓨터를 구축하는 것은 가능하지만, Drosophila 프로젝트의 특정한 토폴로지는 무작위 또는 학습된 연결에 비해 어떠한 이점도 제공하지 않는다고 결론지었습니다. 이 경우 생물학적 청사진은 더 똑똑한 기계를 만들기 위한 지름길이 아니었습니다. 이 실험은 진화가 내놓은 초파리의 뇌 솔루션이 컴퓨터에게 인간의 언어를 이해하도록 가르치는 문제를 자동으로 해결해주지는 않는다는 점을 입증했습니다. 뇌의 배선도를 복사하는 것이 인공지능을 즉각적으로 향상시킬 것이라는 희망은, 이 구체적이고 신중하게 측정된 사례에서 증거에 의해 뒷받침되지 않았습니다.

기술 요약: 초파리 커넥톰 토폴로지는 측정 가능한 언어 모델 이점을 제공하지 않는다

문제 정의
본 논문은 동물의 뇌(구체적으로 Drosophila melanogaster, 초파리)의 시냅스 배선이 언어 모델(LM)을 위한 유익한 귀납적 편향(inductive bias)으로 기능할 수 있는지에 대한 경험적 질문을 다룬다. 전체 뇌 배선도(wiring diagram)는 존재하지만, 인공 신경망을 이러한 생물학적 토폴로지로 복제하거나 제약하는 것이 강력한 비-뇌(non-brain) 대조군에 비해 학습 목적 함수를 개선하는지는 아직 입증되지 않았다. 본 연구는 은유적인 비교를 넘어, 초파리 유래 연산자가 vanilla, random, 또는 degree-matched 토폴로지에 비해 음의 로그 가능도(negative log-likelihood, NLL)를 줄이거나 검색 성능을 개선하는지를 엄격하고 사전 등록된 테스트를 통해 검증하는 것을 목표로 한다.

방법론
본 연구는 소규모 모델(TinyLM)과 엄격한 승리 규칙(win rules)이 사전에 정의된 특정 "큐(queues, 실험 단계)"를 사용하는 폐쇄적이고 사전 등록된 실험 프로그램을 따른다. 연구에는 FlyWire v7.83 연결 테이블(약 139,000개의 뉴런, 5,000만 개의 시냅스)이 활용된다.

주요 실험적 분과(experimental arms)는 다음과 같다:

Attention/Router에서의 그래프 사전 확률(Graph Priors): "세척된(washed)" 확산 커널(강제 단위 대각선을 가진 고차수 FlyWire 노드에서 유도됨)과 "가공되지 않은(raw)" 인접 행렬을 TinyLM의 어텐션 편향 또는 라우터 사전 확률로 테스트한다.
동결된 생물학적 확장으로서의 FFN (Frozen Biological Expansion as FFN): 표준 피드포워드 네트워크(FFN)를 동결된 Antennal Lobe Projection Neuron (ALPN) $\to$ Kenyon Cell (KC) 확장 및 하드 $k$ -winner-take-all (WTA) 메커니즘으로 대체한다.
학습 가능한 프로젝톰 잔차 (C1-R, Trainable Projectome Residual): 초파리 프로젝톰에서 유도된 마스크에 의해 통신이 게이팅되는 학습 가능한 잔차 연결을 구현한다. 이는 초기화로 인해 학습이 방해받았던 초기 퇴행적 테스트(C1) 이후에 진행되었다.
검색 해시로서의 확장 (Expansion as Retrieval Hash): ALPN $\to$ KC 확장을 연상 기억 검색을 위한 로컬리티 민감 해시(locality-sensitive hash)로 테스트하며, 이를 random expansion 및 dense cosine lookup과 비교한다.
침묵의 엔그램 인터페이스 (Silent Engram Interface): 기억은 저장되지만 특정 단서 경로(reminder)가 이를 복구하기 전까지는 접근할 수 없다는 "침묵의 엔그램" 가설을 테스트한다. 여기에는 생물학적 구조가 저장 대 접근성 측면에 있어 고유한 이점을 제공하는지 확인하기 위해 초파리 형태의 인터페이스와 일반적인 제약된 선택기(generic constrained selector)를 비교하는 과정이 포함된다.
중앙 복합체 지속성 (Central Complex Persistence): 중앙 복합체 링 어트랙터(ring attractor)에서의 헤딩 지속성(heading persistence)을 어트랙터 기준에 따라 테스트한다.

대조군으로는 no-graph baselines, Erdős–Rényi random graphs, degree-matched random graphs, dense FFNs, 그리고 학습된 희소 토폴로지(learned sparse topologies)가 포함되었다. 성공 여부는 여러 시드(보통 3/3)에 걸쳐 사전 등록된 마진(일반적으로 pair-token NLL에서 0.02 또는 특정 정확도 격차)에 의해 정의되었다.

주요 결과
연구는 테스트된 모든 아키텍처에서 일련의 부정적 결과(negative results)를 보고한다:

그래프 사전 확률 (Graph Priors): 세척된 확산 사전 확률(near-identity matrices)은 어휘적, 사실적, 또는 형태론적 프로브에서 스크램블되거나 무작위인 그래프보다 우수한 성능을 보이지 못했다. 가공되지 않은 구문 커널(64×12 및 256×12)은 스크램블된 그래프에 비해 일부 AUROC 이점을 보였으나, "커널 없음" 베이스라인이나 비-뇌 대조군을 요구된 0.02 마진으로 능가하는 데 실패했다.
동결된 확장 (FFN): FFN을 동결된 ALPN $\to$ KC 확장으로 대체했을 때, 세 가지 시드 모두에서 random sparsity, degree-matched expansion, 그리고 dense FFN보다 유의미하게 낮은 성능(더 높은 NLL)을 보였다.
학습 가능한 프로젝톰 (C1-R): 초기화 퇴행 문제를 해결한 후, 초파리 토폴로지를 계산에 사용하였다(상대적 잔차 노름 $\rho \approx 0.02\text{--}0.06}$ ). 그러나 이는 품질(Quality), 해부학적 구조(Anatomy), 또는 특이성(Specificity) 측면에서 vanilla, random, degree-matched, 또는 learned-sparse 토폴로지에 비해 측정 가능한 이점을 제공하지 않았다.
검색 해시 (Retrieval Hash): ALPN $\to$ KC 확장을 검색 해시로 사용한 경우(M0), 동일한 WTA 메커니즘을 가진 random expansion보다 성능이 낮았으며(recall@1 $\approx$ 0.31 vs 0.37), dense cosine lookup( $\approx$ 0.85)보다는 현저히 떨어졌다.
침묵의 엔그램 (Silent Engram): 침묵의 엔그램 인터페이스(저장 $\neq$ 접근성)는 구성상 실현 가능하지만, 학습된 복구 연산자가 학습 데이터에 대해 실패했다. 결정적으로, 초파리 토폴로지를 사용하는 "family-bank" 표현 컴퓨터는 일반적인 제약된 선택기에 의해 정확히 일치되었다(평균 성공 0.80, 격차 0). 이는 초파리 특유의 고유성을 주장하는 바를 종결시킨다.
중앙 복합체 (Central Complex): 고립된 헤딩 지속성은 사전 등록된 어트랙터 기준을 충족하지 못했다; 초파리의 상태는 대조군보다 더 빠르게 저하되었다.
800M 모델 컨텍스트: 논문은 800M 파라미터 프로덕션 모델(Mara-MoE)이 러시아어 다중 선택 과제에서 36.0%의 점수를 달성했음을 언급하지만, 이 특정 체크포인트에 대해서는 블루프린트 없는 절제(ablation) 실험을 수행하지 않았으므로 이것이 커넥톰 결과는 아니라고 명시적으로 밝히고 있다.

의의 및 주장
본 논문의 주요 의의는 언어 모델을 위한 직접적인 귀납적 편향으로서 초파리 커넥톰의 유용성에 대한 특정 가설을 엄격하고 사전 등록된 방식으로 반박했다는 점에 있다.

규율로서의 부정적 결과 (Negative Results as Discipline): 저자는 "더 낫다"는 기준이 엄격하게 사전 등록된 불평등(inequalities)에 의해 정의된다는 점을 강조한다. 연구는 학습 가능한 패밀리 수준의 희소 통신은 실행 가능하지만, 특정 Drosophila 프로젝톰 토폴로지는 테스트된 인터페이스 하에서 vanilla, random, degree-matched, 또는 learned-sparse 토폴로지에 비해 측정 가능한 pair-NLL 이점을 제공하지 않는다고 결론짓는다.
아키텍처의 한계: 동결된 mushroom-body 확장은 우수한 언어 FFN도, 우수한 연상 해시(associative hash)도 아니다.
인터페이스 vs 메커니즘: "침묵의 엔그램" 현상은 계산적 인터페이스로서 실현 가능하지만, 특정 Drosophila 형태의 구현이 일반적인 제약된 선택자에 비해 고유한 이점을 제공하지는 않는다.
주장의 범위: 저자는 뇌가 머신러닝에 무용하다거나 초파리가 유용한 알고리즘을 가지고 있지 않다고 주장하는 것이 아니라, 이러ian 특정 구현들이 이러한 특정 판단 기준들 하에서 측정된 목적 함수를 개선하지 못했음을 입증하는 것이다. 효율성, 지연 시간(latency), 또는 분포 외(out-of-distribution) 강건성은 측정되지 않았으며 주장 대상도 아니다.

본 논문은 "이 뇌의 어떤 계산적 구조가 귀납적 편향이 될 수 있는가?"라는 연구 방향은 여전히 열려 있으나, 테스트된 구체적인 구현들(washed priors, frozen expansions, projectome residuals, silent engram interfaces)에 대해서는 부정적인 답변이 나왔다고 결론짓는다.

유사한 논문