기술 요약: Imaging-101

문제 정의

간접적이고 노이즈가 섞인 불완전한 측정값으로부터 숨겨진 신호를 복원하는 과정인 계산 이미징(Computational imaging)은 천문학에서 의학에 이르기까지 다양한 과학 분야의 정량적 발견에 있어 필수적입니다. 그러나 올바른 재구성 파이프라인을 구축하는 것은 데이터 클리닝, 물리 모델링, 알고리즘 선택, 반복적인 디버깅을 처리하기 위해 깊은 도메인 전문 지식을 요구하는 고된 작업입니다. 대규모 언어 모델(LLM)이 일반적인 코딩과 과학적 워크플로우의 일부 측면에서 숙련도를 보여주었으나, 프론티어 모델들이 엔드 투 엔드(end-to-end) 계산 이미징 과제를 신뢰성 있게 해결할 수 있는지 여부는 여전히 미해결 과제로 남아 있습니다. 이러한 과제들은 물리적 측정 과정, 수학적 공식, 그리고 이를 실행 가능한 코드로 변환하여 엄격한 수치 검증을 통과하는 수치 솔버(numerical solver)에 대한 결합된 추론을 요구합니다. 기존 벤치마크들은 미세한 물리적 관례 오류나 부적절한 솔버 선택과 같이 과학적 역문제(inverse problems)에 내재된 특유의 실패 모드를 드러내는 데 한계가 있습니다.

방법론

이러한 격차를 해소하기 위해, 저자들은 천문학, 생물학, 화학 및 재료 과학, 지구 과학, 의학, 물리학의 6개 과학 분야를 아우르는 57개의 전문가 검증된 계산 이미징 과제로 구성된 Imaging-101을 소개합니다.

벤치마크 구축

본 벤치마크는 과학적 진정성과 재현성을 보장하기 위해 설계된 **전문가 루프 기반 파이프라인(expert-in-the-loop pipeline)**을 통해 구축되었습니다:

1. 소스 그라운딩(Source Grounding): 모든 과제는 피어 리뷰를 거친 논문과 그 오픈 소스 참조 구현으로부터 파생되었습니다.
2. 표준화(Standardization): 과제들은 표준화된 4단계 파이프라인으로 정형화되었습니다:
   • 전처리(Preprocessing): 원시 측정값을 포워드 모델(forward model)과 호환 가능한 형태로 변환합니다.
   • 포워드 물리 모델링(Forward Physics Modeling): 포워드 연산자 $A$(및 종종 그의 수반 연산자 $A^*$)를 구현합니다.
   • 역 솔버(Inverse Solver): 잠재된 양을 복원하기 위해 인버전 알고리즘을 선택하고 실행합니다.
   • 시각화(Visualization): 재구성된 신호를 렌더링합니다.
3. 검증(Verification): 도메인 전문가(박사급)가 원본 출판물과의 참조 실행 결과 재현 여부를 검증합니다. 파이프라인은 코드 리팩토링 및 단위 테스트 합성을 위해 AI 지원(Claude Code)을 활용하지만, 최종 권한은 전문가가 보유합니다.
4. 평가 지표(Evaluation Metrics): 과제들은 보정된 수치 허용 오차를 사용하여 등급이 매겨집니다. 엔드 투 엔드 성공 여부는 PSIM이나 SSIM과 달리 전역 진폭 스케일링에 강건한 정규화 교차 상관(NCC) 및 정규화 평균 제곱근 오차(NRMSE)로 측정됩니다.

평가 트랙

Imaging-101은 서로 다른 에이전트 역량을 조사하기 위해 세 가지 상호 보완적인 평가 트랙을 사용합니다:

1. 플래닝(Planning): 에이전트는 문제 정의를 바탕으로 구조화된 계획(알고리즘 설명 및 모듈 설계)을 생성합니다. 정확성은 참조 계획에 대해 도메인 전문가가 판단합니다.
2. 함수 수준(Function-Level): 에이전트는 파이프라인 내의 특정 함수를 구현합니다. 정확도는 엄격한 수치 허용 오차(결정론적 vs 확률적)를 가진 pytest 단위 테스트 세트를 통과하는지에 따라 결정됩니다.
3. 엔드 투 엔드(End-to-End): 에이전트는 전체 파이프라인 코드를 생성, 실행하여 재구성을 생성합니다. 성공은 참조 대비 이미지 품질 임계값(NCC/NRMSE)을 충족하는지로 정의됩니다.

주요 기여

• Imaging-101 벤치마크: 피어 리뷰 문헌에 근거하며, 6개 과학 분야에 걸쳐 플래닝, 함수 수준 및 엔드 투 엔드 평가를 지원하는 57개의 과제 모음입니다.
• 전문가 감독 구축 파이프라인: 연구 논문을 표준화된 4단계 레이아웃으로 정형화하여 확장 가능하고 재현 가능하며 실행 검증이 가능한 벤치마크 과제를 생성하는 방법론입니다.
• 실패 모드의 경험적 특성화: 본 연구는 일반적인 코딩 벤치마크에서 발견되는 오류와 구별되는, 현재의 LLM이 과학적 계산 이미징에 적용될 때 나타나는 구체적인 역량 격차에 대한 증거를 제공합니다.

결과

저자들은 7개의 프론티어 LLM(Claude-4.6-Opus, GPT-5.4, DeepSeek-V3 포함)을 57개 과제에 대해 평가했습니다.

정량적 성능

• 플래닝: GPT-5.4와 Kimi-k2.5가 가장 높은 종합 통과율(~52.6%)을 기록했으며, Claude-4.6-Opus(50.9%)가 그 뒤를 바짝 쫓았습니다. 전처리가 가장 어려운 플래닝 차원이었으며(평균 통과율 67.9%), 역 솔버 선택이 가장 쉬웠습니다(88.5%).
• 함수 수준: 구현 단계에서 성능이 크게 하락했습니다. 모듈 전체가 통과해야 하는 전체 모듈 통과율은 모델에 따라 1.8%에서 22.8% 사이였습니다. 역 솔버는 구현하기 가장 어려웠습니다(평균 모듈 통과율 30.6%).
• 엔드 투 엔드: 최고 성능 모델인 Claude-4.6-Opus는 29.8%의 성공률을 달тя성했습니다. GPT-5.4는 19.3%로 뒤를 이었습니다. 블랙박스 에이전트(Claude Code)는 56.1%를 달성하여, 더 풍부한 실행 기능(예: 제한 없는 패키지 설치, 셸 피드백)이 성능을 유의미하게 향상시킨다는 것을 시사했습니다.

실패 모드 분석

평가는 일반적인 코딩 오류와 구별되는 체계적인 실패 모드를 드러냈습니다:

1. 과학적 추론 실패: 지배적인 오류는 표면적인 구문 실수가 아니라 과학적 추론의 실패였습니다.
   • 측정-물리 간 불일치: 에이전트들은 비가시선(non-line-of-sight) 이미징에서 센서 강도($1/r^4$)를 파동장 진폭($1/r$)으로 변환하는 것과 같은 중요한 전처리 단계를 누락하는 경우가 많았습니다.
   • 부적절한 솔버 선택: 모델들은 특정 물리 구조를 무시하는 일반적인 휴리스틱을 근거로 들어, 특화된 물리 결합 솔버(예: Fourier ptychography를 위한 qNewton-PIE)를 일반 최적화 도구(예: Adam)로 대체하는 경우가 빈번했습니다.
2. 수치적 관례 이탈(Numerical Convention Drift): 가장 흔한 코드 버그(실패의 42.1%)는 잘못된 부호, 스케일, 축 순서 또는 정규화 관례(예: MRI에서 MVUE 코일 정규화를 누락함)를 사용하는 것이었습니다. 이러한 오류는 구조적으로는 유효한 코드를 생성하여 시각적 검사는 통과하지만, 엄격한 수치적 일치성 테스트는 통과하지 못했습니다.
3. 에이전트 미완료: 실패의 28.2%는 에이전트가 반사 예산(reflection budget)을 모두 소진하여 코드를 생성하지 못한 경우로, 주로 특화된 라이브러리(예: ehtim, deepwave)를 다룰 때 발생했습니다. 이는 수학적 추론보다는 API 익숙함의 병목 현상을 나타냅니다.

의의

본 논문은 LLM이 과학적 워크플로우에서 유망함을 보여주지만, 현재로서는 자율적인 계산 이미징에 필요한 신뢰성이 부족하다고 주장합니다. 연구 결과는 단위 관례, 정규화 계수, 측정-모델 결합과 같은 암묵적 도메인 지식인 "암흑 물질(dark matter)"이 서술된 명세에는 명시적으로 캡처되지 않으며, 현재 모델들에 의해 체계적으로 누락되고 있음을 강조합니다.

저자들은 이 격차를 메우기 위해 일반적인 코딩 에이전트를 넘어 기술 증강형, 도메인 특화 에이전트로 나아가야 한다고 결론짓습니다. 이들은 암묵적 지식을 재사용 가능하고 검증된 모듈(기술 라이브러리)로 부호화하는 것이 신뢰할 수 있는 과학적 보조를 위한 실질적인 경로라고 제안합니다. Imaging-101은 이러한 방향으로의 발전을 추적하기 위한 기초적인 벤치마크 역할을 하며, 과학적 컴퓨팅에서의 진정한 신뢰성은 단순한 코드 생성을 넘어 물리 법칙에 대한 충실한 준수와 수치적 정밀도를 요구한다는 점을 강조합니다.