Neurodata Without Boredom: Benchmarking Agentic AI for Data Reuse

본 논문은 8 개의 최근 연구에서 데이터셋을 로드하고 이해하며 재포맷팅하는 성능을 테스트함으로써 에이전트형 AI 가 파편화된 신경과학 데이터의 재사용을 자동화하는 능력을 평가하였으며, 에이전트가 개별 하위 작업에서는 탁월한 성과를 보이지만 현재는 완전한 오류 없는 엔드 투 엔드 솔루션을 생성하는 데 어려움을 겪고 인간 개입 감독이 필요하다는 점을 밝혀냈다.

핵심

당신이 8 개의 다른 주방에서 나온 레시피와 재료를 이용해 거대하고 맛있는 스튜를 만들고 싶은 셰프라고 상상해 보세요. 각 주방은 물건을 정리하는 방식이 다릅니다. 한 곳은 "매운맛"이라고 적힌 항아리를 사용하고, 다른 곳은 "뜨거운맛"이라고 적힌 상자를 사용하며, 세 번째 곳은 "아마도"라고 적힌 스티커 노트가 붙은 통에 모든 것을 던져 넣습니다.

스튜를 만들기 위해서는 먼저 모든 용기에 무엇이 들어있는지 파악하고, 모든 라벨이 같은 의미를 갖도록 번역한 다음, 그것들을 섞어야 합니다. 신경과학의 세계에서는 이 "스튜"가 쥐의 뇌가 어떻게 작동하는지에 대한 데이터이며, "주방"들은 서로 다른 연구실들입니다.

이 논문은 "Neurodata Without Boredom(지루함 없는 신경 데이터)이라는 제목으로, 간단하지만 어려운 질문을 던집니다: 스마트한 컴퓨터 로봇(지능형 에이전트 AI)

연구자들이 발견한 내용을 간단한 비유로 정리해 보겠습니다:

문제: "번역 실종"의 혼란

신경과학 데이터는 극도로 파편화되어 있습니다. 일부 연구실은 표준 형식 (보편적인 언어와 같은) 으로 데이터를 저장하는 반면, 다른 연구실들은 자신들만 이해할 수 있는 비밀 코드와 같은 맞춤형 형식을 사용합니다.

• 옛날 방식: 인간 과학자가 연구실의 논문을 읽고, 코드를 살펴보고, 파일을 열어 모든 것을 공통 형식으로 번역하는 방법을 수동으로 찾아야 합니다. 이는 느리고 지루하며 인간의 실수에 취약합니다.
• 새로운 희망: 대규모 언어 모델 (LLM) 은 초고속이고 초집중적인 인턴과 같습니다. 인간보다 코드와 텍스트를 더 빠르게 읽으며 지루함을 느끼지 않습니다. 연구자들은 궁금해했습니다: 이러한 AI 인턴들이 번역 작업을 완벽하게 수행할 수 있을까요?

실험: "여덟 개의 주방" 챌린지

연구자들은 8 개의 서로 다른 신경과학 논문(8 개의 주방)으로 테스트를 설정했습니다.

1. 설정: 그들은 두 가지 다른 AI 에이전트 (이름은 Claude Code와 Codex) 에게 각 주방의 원시 데이터, 코드, 그리고 과학 논문을 제공했습니다.
2. 과제: AI 는 번역가처럼 행동해야 했습니다. 각 연구실의 지저분하고 고유한 파일을 읽어서, 컴퓨터가 쥐의 행동 (예: "쥐가 왼쪽으로 돌아갈까, 오른쪽으로 돌아갈까?") 을 예측하는 데 사용할 수 있는 단일하고 깔끔한 형식으로 변환해야 했습니다.
3. 규칙: AI 는 엄격한 체크리스트를 따라야 했고, 메모를 기록해야 했으며, 진행하기 전에 데이터를 이해했음을 증명해야 했습니다.

결과: 단계는 훌륭하지만, 전체 여정은 부실

결과는 놀라운 능력과 좌절스러운 불일치가 섞여 있었습니다.

1. AI 는 훌륭한 "단계 수행자"입니다
AI 에게 "이 파일을 불러오세요"나 "쥐의 수를 세세요"와 같이 하나의 작은 작업만 요청하면, 보통 훌륭한 성과를 냅니다. 이러한 고립된 단계에서는 인간 전문가만큼, 혹은 그 이상으로 뛰어난 경우가 많습니다.

2. AI 는 "마라톤"에 어려움을 겪습니다
문제는 AI 가 그 모든 단계를 하나의 긴 오류 없는 사슬로 연결해야 할 때 발생했습니다.

• 비유: 릴레이 경주를 상상해 보세요. AI 는 자신의 구간을 뛰는 데 탁월합니다. 하지만 종종 다음 주자에게 넘겨주기 직전 배턴을 떨어뜨리거나, 잘못된 사람에게 넘겨줍니다.
• 현실: 많은 경우, AI 가 작성한 코드는 실행되었지만 (크래시 나지 않음), 내부의 데이터는 약간 잘못되었습니다. 예를 들어, 논문에서 분이라고 명시된 것을 AI 가 초 단위로 계산하는 "시도 (단일 실험)"를 세기로 결정하거나, 잘못된 규칙을 추측하여 중요한 뇌 세포를 실수로 필터링해 버릴 수 있습니다.

3. "미묘한 실수"의 함정
가장 위험한 오류는 표면적으로는 정답처럼 보이는 것들이었습니다.

• 예시: 한 사례에서 AI 는 "세션 ID" 대신 "실험 ID"로 데이터를 그룹화하기로 결정했습니다. 논리적으로 들렸지만, 이는 단일 기록 세션을 여러 개의 가짜 세션으로 나누어 데이터를 망가뜨렸습니다. 코드는 완벽하게 실행되었지만, 과학적 내용은 깨져 있었습니다.
• 교훈: 이러한 실수는 레시피에서 "왼쪽"과 "오른쪽"을 바꾸는 번역가와 같습니다. 케이크는 여전히 구워지지만, 맛은 틀립니다.

"자기 점검"의 실패

연구자들은 AI 에게 자신의 작업을 평가하도록 요청하기도 했습니다. "실수를 했나요?"라고 물었습니다.

• 결과: AI 는 끔찍한 심판이었습니다. AI 는 자신의 큰 실수를 종종 놓치거나, 완전히 괜찮은 결정을 실수로 표시했습니다. 실제로는 낙제를 했지만 'A'를 받았다고 생각하는 학생과 같았습니다.
• 결론: AI 가 자신의 숙제를 스스로 점검하는 데는 의존할 수 없습니다. 여전히 인간이 어깨 너머로 확인해야 합니다.

최종 판결

이 논문은 지능형 에이전트 AI 는 강력한 도구이지만, 마법의 지팡이는 아니다라고 결론 내립니다.

• 할 수 있는 일: 새로운 데이터셋을 시작하는 데 걸리는 "지루함"과 시간을 획기적으로 줄일 수 있습니다. 읽기와 초기 번역이라는 무거운 작업을 처리할 수 있습니다.
• 아직 할 수 없는 일: 완전히 혼자 일하도록 신뢰할 수는 없습니다. 미묘하고 고위험적인 오류를 포착할 수 있는 "상식"과 깊은 과학적 직관이 부족합니다.
• 미래의 워크플로우: 최선의 접근법은 **인간이 개입하는 **(human-in-the-loop)입니다. AI 를 작업의 90% 를 수행하는 매우 빠르고 열정적인 인턴으로, 인간 과학자를 AI 가 놓친 까다로운 10% 의 오류를 잡아내는 감독자로 생각하세요.

요약하자면: AI 는 데이터 포맷팅으로 인한 지루함을 멈추게 도와줄 수 있지만, 우리가 절벽으로 떨어지지 않도록 핸들을 잡는 것은 여전히 우리입니다.

기술 요약

기술 요약: Neurodata Without Boredom: 데이터 재사용을 위한 에이전트형 AI 벤치마킹

문제 제기

신경과학 데이터는 실험실, 실험 패러다임, 기록 모드 (예: 전기생리학, 칼슘 영상) 간에 본질적으로 파편화되어 있습니다. Neurodata Without Borders(NWB) 와 컨소시엄 규모의 큐레이션 프로젝트 (예: International Brain Lab, Allen Brain Observatory) 와 같은 표준화 이니셔티브가 상호 운용성을 개선해 왔지만, 근본적인 긴장 관계는 여전합니다. 다양한 실험을 수용할 만큼 유연한 형식은 거의 자가 설명적이지 않으며, 충분히 기술적인 형식은 소수의 실험실만 감당할 수 있는 문서화 부담을 요구합니다. 결과적으로 공유된 데이터를 재사용하는 것은 종종 맞춤형 포맷 선택을 해독하기 위한 상당한 수동 작업을 필요로 하여, 뇌 및 행동에 대한 기초 규모 모델의 통합 및 훈련을 위한 병목 현상을 초래합니다.

코드와 텍스트를 저수준 세부 사항에 대한 지속적인 주의로 읽을 수 있는 대규모 언어 모델 (LLM) 을 포함한 에이전트형 AI 는 잠재적인 해결책을 제시합니다. 그러나 현재 코딩 에이전트가 과학적 데이터 형식의 모호성을 신뢰할 수 있게 탐색하여 하류 분석에 적합한 오류 없는 엔드 - 투 - 엔드 데이터 변환 파이프라인을 생성할 수 있는지 여부는 명확하지 않습니다.

방법론

저자들은 과학적 데이터 재사용 작업에 대한 에이전트형 AI 를 평가하기 위한 현실적인 벤치마크 프레임워크를 도입했습니다.

데이터셋 선정:
이 연구는 대규모 마우스 신경 집단 기록을 연구한 최근 8 편의 논문을 활용했으며, 데이터와 코드를 모두 공개했습니다. 데이터셋은 다음을 포괄했습니다:

• 모달리티: 2 광자 칼슘 영상, Neuropixels 전기생리학, 메스코프 칼슘 영상.
• 패러다임: 고정된 머리의 의사결정, 가상현실 항해, 자유로운 이동 행동.
• 형식: NWB 파일, 전문 컨소시엄 API(IBL, ABO), 맞춤형 Python/MATLAB 파일.
• 규모: 동물, 세션, 기록된 뉴런 수 측면에서 여러 차수에 걸쳐 다양했습니다.

작업 설계:
각 논문마다 에이전트는 원시 데이터를 로드하고, 방법론 및 코드를 이해하며, 선형 디코더 훈련에 적합한 공통된 지정된 구조로 데이터를 재포맷하는 임무를 수행했습니다. 디코더의 목표는 신경 활동으로부터 작업 또는 행동 변수를 예측하는 것이었습니다. 출력 형식은 피험자, 세션, 트라이얼의 계층 구조를 따랐으며, 입력/출력 변수 정렬 및 이산화에 대한 구체적인 요구 사항이 있었습니다.

에이전트 설정:
두 가지 범용 코딩 에이전트가 평가되었습니다: Claude Code(Opus 4.6) 및 Codex(GPT 5.4).

• 환경: 사전 설치된 종속성 (PyNWB, suite2p, dandi, ONE-api, allen-sdk) 으로 컨테이너화되었습니다.
• 프롬프팅: 에이전트는 원시 데이터, 분석 코드, 논문 PDF, 그리고 구조화된 프롬프트를 받았습니다. 이 프롬프트는 엄격한 14 단계 워크플로우를 강제하여, 에이전트가 의사결정을 문서화하고 소스 (코드, 데이터, 논문) 간 일관성을 검증하며 전체 데이터셋을 처리하기 전에 작은 샘플에서 결과를 검증하기 위해 CONVERSION_NOTES.md 워크시트를 유지하도록 요구했습니다.
• 평가 프로토콜: 각 데이터셋 - 에이전트 쌍은 세 번 실행되었습니다. 평가는 두 가지 축에서 이루어졌습니다:
  1. 결과 기반: 출력 파일이 생성되었는지, 데이터셋 통계 (세션, 트라이얼, 뉴런) 가 참조 값 (사용 가능한 경우) 과 일치하는지, 하류 디코더 성능이 임계값 (참조 정확도의 95%) 에 도달했는지 확인.
  2. 프로세스 기반: 수동 평가 기준 (rubric) 을 사용하여 각 하위 작업 (데이터 로드, 트라이얼 구성, 전처리, 변수 구성, 누락 데이터 처리, 코드 효율성) 에 대한 과학적 및 구현 의사결정을 5 단계 척도 (부적절, 우려됨, 적절함, 일치, 더 좋음) 로 점수화.

자기 평가 테스트:
저자들은 자동화된 품질 관리가 가능한지 여부를 판단하기 위해 에이전트가 동일한 수동 평가 기준을 사용하여 자신이나 다른 에이전트의 솔루션을 평가할 수 있는지 테스트했습니다.

주요 기여

1. 벤치마크 프레임워크: 다양한 형식과 패러다임을 가진 8 개의 이질적인 신경과학 데이터셋을 포괄하는 과학적 데이터 재사용에 대한 코딩 에이전트 평가를 위한 포괄적인 벤치마크 도입.
2. 이중 모드 평가: 결과 수준 지표 (디코더 성능, 통계) 와 프로세스 기반 수동 평가 기준을 결합한 새로운 평가 전략. 이 접근법은 에이전트가 종종 개별 하위 작업에서는 성공하지만 전체 파이프라인 전반에 걸쳐 정확성을 유지하지 못하며, 오류가 종종 미묘하고 집계 지표만으로는 감지하기 어렵다는 점을 드러냈습니다.
3. 실패 모드 특성화: 에이전트 오류에 대한 상세한 분류 체계:
   • FILTER: 일관성 없거나 정당화되지 않은 데이터 필터링.
   • TIME_RES: 잘못된 시간 해상도 또는 정렬 선택.
   • PROCESS: 복잡한 처리 파이프라인의 결함 있는 구현.
   • ASSUME: 검증 없이 데이터 의미에 대한 잘못된 가정.
   • VARNAME: 모호한 변수 이름의 오해.
     이 연구는 이러한 실패들이 종종 "표면적으로 합리적"이며 세심한 검사 없이는 감지하기 어렵다고 강조합니다.
4. 에이전트 - 판사 신뢰성: 에이전트가 데이터 변환 품질의 판사로 신뢰할 수 없으며, 특히 기준 참조 (ground-truth) 가 없을 때 오류를 감지하는 정밀도와 재현율이 낮다는 실증적 증거.

결과

• 엔드 - 투 - 엔드 성능: 에이전트는 모든 실행에서 워크플로우를 성공적으로 완료했으며 종종 개별 지표에서 골드 스탠다드 솔루션과 일치했지만, 단일 시도에서 완전히 오류 없는 엔드 - 투 - 엔드 솔루션을 생성한 경우는 드뭅니다. 단일 실행 내에서 모든 검사에 대한 완전한 일치는 드뭅니다.
• 하위 작업 성능: 에이전트는 개별 하위 작업 (예: 데이터 로드) 에서 잘 수행되었지만 이러한 단계의 통합에는 어려움을 겪었습니다. 변동성이 높았으며, 약 25% 의 하위 작업은 반복 실행 간에 적어도 한 등급의 변동이 있었고, 5% 는 세 등급의 변동 (예: "일치"에서 "부적절"로) 을 보였습니다.
• 형식 독립성: 에이전트 성능은 NWB 나 컨소시엄 API 와 같이 더 신중하게 공유된 형식의 데이터셋에서 맞춤형 형식보다 유의미하게 향상되지 않았습니다. 에이전트는 지시사항에도 불구하고 종종 제공된 API 를 우회하여 원시 데이터를 직접 처리했습니다.
• 오류 성격: 대부분의 오류는 단순한 실행 실패가 아니라 과학적 해석의 실수 (예: 특정 데이터셋에 대해 검증하는 대신 "일반적인 경우" 관례에 기반하여 변수의 의미를 가정하는 것) 를 반영했습니다.
• 자기 평가: 감독되지 않은 데이터셋에서 판사로 행동한 에이전트의 성능은 무작위 수준을 약간 상회했습니다 (균형 정확도 약 60%). 기준 참조 (감독된 데이터셋) 가 있더라도 균형 정확도가 향상되었음 (최대 78.4%) 에도 정밀도는 낮아, 에이전트가 많은 허용 가능한 결정을 오류로 표시했음을 나타냈습니다.

중요성 및 주장

이 논문은 현재 에이전트형 AI 프레임워크가 과학적 데이터 재사용에 필요한 단계를 수행할 수 있는 능력을 갖추고 있지만, 과학적 엄밀성을 위해 필요한 긴 처리 단계 체인 전반에 걸쳐 정확성을 유지할 신뢰성은 부족하다고 주장합니다.

• 인간 개입의 필요성: 저자들은 에이전트가 새로운 데이터셋에 대한 지루한 온보딩 작업을 크게 줄일 수 있지만, 인간 개입 검토가 여전히 필요하다고 결론지었습니다. 구체적으로, 인간 검토는 에이전트가 미묘하고 과학적으로 중요한 오류를 범하기 쉬운 하위 작업에 초점을 맞춰야 합니다.
• 데이터 공유 모범 사례: 이 연구는 에이전트형 AI 시대의 데이터 공유를 위한 실용적인 지침을 제안합니다:
  • 배포에는 데이터와 직접 상호작용하는 작동 분석 코드를 포함하여 실행 가능한 참조로 제공해야 합니다.
  • 변수 이름은 명확하고 모호하지 않으며 의도된 의미와 일치해야 합니다.
  • 데이터셋은 원시 데이터에서 재구성을 요구하는 대신 하류 사용자가 기대하는 처리된 변수를 제공해야 합니다.
  • 예상 데이터셋 통계 및 건전성 검사 대상을 제공하면 에이전트 신뢰성을 향상시킬 수 있습니다.
• 한계점: 저자들은 벤치마크의 규모 (8 개의 데이터셋, 2 개의 에이전트) 가 작고 수동 평가에 의존한다는 점을 인정합니다. 그들은 그들의 발견이 과학적 데이터 재사용에 대한 전문가의 판단에 대한 지속적인 필요성을 지지하며, 에이전트형 AI 를 인간 큐레이션의 자율적 대체제가 아닌 강력한 조력자로 위치시킨다고 강조합니다.