CVEvolve: Autonomous Algorithm Discovery for Unstructured Scientific Data Processing

CVEvolve 는 LLM 과 다중 라운드 검색 전략을 활용하여 과학적 데이터 처리 알고리즘을 독립적으로 발견하고 최적화하는 자율형 제로코드 에이전트 시스템으로, 전문 프로그래밍 지식이 필요 없이 도메인 과학자들이 복잡한 비정형 데이터를 효과적으로 분석할 수 있도록 지원합니다.

핵심

당신이 실험실에서 일하는 과학자라고 상상해 보세요. 수천 장의 흐릿한 미세 결정 사진이나 구형 TV 의 정전기와 같은 X 선 스캔 이미지처럼 거대하고 messy 하며 복잡한 데이터 더미를 가지고 있습니다. 이 데이터를 이해하려면 데이터를 정제하거나, 패턴을 찾거나, 물량을 측정할 수 있는 특정 지시 사항 (알고리즘) 이 필요합니다.

보통은 이러한 지시 사항을 작성해 줄 컴퓨터 프로그래머를 고용해야 합니다. 하지만 평범한 영어로 필요한 내용을 설명하기만 하면, 로봇 과학자가 코드를 작성하고, 테스트하며, 실수를 수정하여 작동하는 도구를 제공해 준다면 어떨까요?

바로 이것이 CVEvolve가 하는 일입니다.

다음은 일상적인 비유를 사용하여 작동 방식을 간단히 설명한 것입니다:

1. 문제: "messy 주방"

과학 데이터는 종종 비정형적입니다. 노이즈가 많거나, 색상이 기이하거나, 표준 컴퓨터 프로그램이 이해하지 못하는 형식으로 제공됩니다. 도메인 과학자 (생물학자나 물리학자 등) 는 해당 분야의 전문가이지만, 코딩의 전문가인 것은 아닙니다. 특정 데이터 문제를 해결하기 위해 코드를 작성하는 것은 특정 종류의 케이크 하나를 굽기 위해 맞춤형 오븐을 만드는 것과 같습니다. 어렵고 느리며, 그들이 갖지 못할 수도 있는 기술이 필요합니다.

2. 해결책: "자율 요리사"

CVEvolve 는 바로 그 자율 요리사로 설계된 AI 시스템입니다. 당신은 "재료"(원시 데이터) 와 "레시피 목표"(예: "이 X 선 이미지에서 밝은 점을 찾아라") 를 제공합니다. 이는 단순히 추측하는 것이 아니라, 스스로 "레시피"(알고리즘) 를 지속적으로 구축, 테스트, 개선합니다.

3. 학습 방식: "3 단계 춤"

임의의 시도를 하는 대신, CVEvolve 는 인간이 퍼즐을 푸는 방식과 유사한 세 가지 주요 동작을 가진 스마트 전략을 사용합니다.

• 생성 (야생 발명가): AI 는 처음부터 문제를 해결할 완전히 새로운 방법을 고안해 보려고 노력합니다. 마치 완전히 새로운 아이디어를 브레인스토밍하는 것과 같습니다.
• 조정 (미세 조정자): 작동하는 해결책을 찾으면, 이미 좋은 상태인 수프의 간을 맞추듯이 더 잘 작동하도록 노브와 다이얼을 조정해 봅니다.
• 진화 (혼합자): 잘 작동하는 두 가지 다른 해결책을 가져와서 각각의 가장 좋은 부분을 결합하여 새로운 슈퍼 솔루션을 만듭니다. 마치 두 가지 다른 레시피의 가장 좋은 부분을 섞어 걸작을 창조하는 것과 같습니다.

4. 비기: "계보"와 "확률적 샘플링"

이 논문에서는 "계보 인식 확률적 후보 샘플링 (lineage-aware stochastic candidate sampling)"이라는 용어를 언급합니다. 이를 쉽게 생각해보면 다음과 같습니다:

해결책의 가계도를 상상해 보세요. 어떤 해결책은 "부모"이고, 새로운 것들은 그들의 "자식"입니다.

• 함정: 보통 AI 는 탐욕스럽습니다. 다음 것을 만들기 위해 절대적으로 최상의 성능을 보이는 해결책만 선택합니다. 이는 라디오에서 항상 톱 1 히트곡만 듣는 것과 같습니다. 조금 더 시간이 필요하면 빛날 수 있는 숨겨진 보석을 놓칠 수 있습니다.
• CVEvolve 의 해결책: CVEvolve 는 "통제된 무작위성"(주사위 굴리기와 같은) 을 약간 사용합니다. 현재 가장 좋은 것은 아니더라도, 그 "약자"가 최상위 수행자에게는 없는 숨겨진 잠재력을 가질 수 있으므로 때로는 그런 해결책을 선택합니다. 이를 통해 AI 가 고착되지 않고 새로운 가능성을 계속 탐색하도록 보장합니다.

5. 안전망: "맹미 테스트"

AI 에서 가장 큰 위험 중 하나는 "과도한 최적화"입니다. 연습 문제의 답을 외우지만 실제 시험에서는 특정 문제만 외웠지 개념을 이해하지 못해 실패하는 학생을 상상해 보세요.

CVEvolve 는 **홀드아웃 테스트 (Holdout Test)**라는 특별한 안전 기능을 갖추고 있습니다:

• AI 는 "개발 세트"(연습 시험) 에서 작업합니다.
• 학습하는 동안 "홀드아웃 세트"(실제 시험) 를 절대 볼 수 없습니다.
• 완벽한 해결책을 찾았다고 생각한 후에만 별도의 독립 에이전트가 홀드아웃 세트에서 해결책을 실행하여 새로운 보지 못한 데이터에서 실제로 작동하는지 확인합니다.
• 만약 해결책이 맹미 테스트에 실패하면, CVEvolve 는 단순히 외우고 있었다는 것을 알고 다시 시작합니다.

6. 실제 성과

이 논문은 이 시스템을 세 가지 실제 과학 작업으로 테스트했습니다:

1. X 선 이미지 정렬: 약간 어긋난 미세 객체의 두 장의 사진을 맞추는 것과 같습니다. CVEvolve 는 기존 표준 방법보다 8 배 더 정확한 방법을 발견했습니다.
2. "브래그 피크" 찾기: 이는 X 선 회절 패턴의 밝은 점들입니다. 데이터는 매우 노이즈가 많았고, AI 는 배경 노이즈에 속지 않고 점을 찾아야 했습니다. 성공률은 약 24% 에서 거의 84% 로 향상되었습니다.
3. 링과 점 분리: 일부 이미지에는 링 (나무 나이테와 같은) 과 점 (별과 같은) 이 있습니다. 이들은 매우 비슷해 보입니다. AI 는 이를 구별하는 법을 배웠는데, 이는 연구 중인 물질을 이해하는 데 중요합니다.

결론

CVEvolve 는 코딩을 모르는 과학자들이 "이것이 나의 messy 데이터이니 분석 방법을 찾아주세요"라고 말할 수 있게 해주는 도구입니다. AI 는 코드를 작성하고, 테스트를 실행하며, 시각적 결과를 검토하고, 스스로 실수를 수정하며, 최종 결과가 새로운 데이터에서 실제로 작동하는지 확인하는 지치지 않는 연구 조교 역할을 합니다. 이는 분석 소프트웨어를 작성하는 어렵고 기술적인 작업을 대화로 바꿉니다.

기술 요약

기술 요약: CVEvolve – 비구조화 과학 데이터 처리를 위한 자율 알고리즘 발견

문제 제기

과학 데이터 처리, 특히 영상 및 빔라인 과학 분야에서는 도메인 과학자들이 컴퓨터 비전이나 소프트웨어 공학에 대한 광범위한 전문 지식이 부족함에도 불구하고 작업별 알고리즘을 개발해야 하는 경우가 많습니다. 기존 자동화된 방법 발견 시스템 (예: AutoML, 신경 아키텍처 탐색) 은 대부분 잘 정의된 훈련 데이터, 제한된 설계 공간, 그리고 스칼라 목적 함수를 가진 구조화된 최적화 문제를 위해 설계되었습니다. 이러한 시스템은 고동적 범위, 노이즈, 희소 레이블을 가지며 단일 이미지, 회절 패턴, 또는 느슨하게 명시된 로그 형태로 도착할 수 있는 "더러운" 비구조화 과학 데이터의 현실에는 어려움을 겪습니다. 또한, 많은 기존 에이전트 시스템은 보지 못한 데이터 (홀드아웃 세트) 에 대한 성능 추적을 위한 메커니즘이 부족하여 과최적화를 초래하며, 과학적 아티팩트를 진단하는 데 필요한 시각적 검사 기능을 제공하지 못하는 경우가 많습니다.

방법론

CVEvolve 는 사전 정의된 문제 템플릿이나 경직된 워크플로우에 의존하지 않고 과학 데이터 처리 알고리즘을 발견하고 구축하도록 설계된 자율 에이전트 하네스입니다. 이는 코드, 데이터, 지표, 기록, 그리고 시각적 출력을 포함하는 공유 루프 내에서 다중 라운드 검색 과정을 관리하는 메타 알고리즘으로 작동합니다.

핵심 아키텍처 및 워크플로우

이 시스템은 LangGraph 기반 에이전트 프레임워크를 기반으로 하며 세 가지 주요 단계를 통해 작동합니다:

1. 준비: 에이전트가 작업 데이터를 검사하고 자연어 설명에서 최적화 지표를 설정하며 최소 평가 하네스를 구축합니다.
2. 기초 평가: 에이전트가 사용자가 제공하거나 제안한 기초 알고리즘을 평가하여 성능 벤치마크를 확립합니다.
3. 알고리즘 개발: 시스템은 컨트롤러가 세 가지 전략적 행동 중 하나를 선택하는 라운드로 구성된 발견 루프에 진입합니다:
   • 생성 (Generate): 작업 특성과 이전 실패를 기반으로 실질적으로 새로운 후보를 제안합니다.
   • 조정 (Tune): 하이퍼파라미터를 조정하거나 세밀한 개선을 수행하여 단일 부모 후보를 정제합니다.
   • 진화 (Evolve): 두 부모 후보의 강점을 결합 (교차) 하거나, 후보가 하나만 존재할 경우 공격적인 변이를 수행합니다.

주요 기술 구성 요소

• 계보 인식 확률적 샘플링: 탐색과 활용 사이의 균형을 맞추기 위해 CVEvolve 는 MAP-Elites 에서 영감을 받아 부모 후보를 샘플링하기 위해 깁스 분포를 사용합니다. 후보는 계보 (상속 관계) 에 따라 그룹화됩니다. 온도 매개변수 ($\tau$) 는 낮은 순위이지만 잠재적으로 유망한 계보를 선택할 확률을 제어하여 검색이 너무 일찍 단일 현직 후보로 수렴하는 것을 방지합니다.
• 에이전트 주도 홀드아웃 테스트: 과최적화를 방지하기 위해 CVEvolve 는 별도의 "홀드아웃 테스트 에이전트"를 사용합니다. 이 에이전트는 주요 검색 에이전트가 절대 보지 않는 예약된 홀드아웃 데이터셋에서 작동합니다. 주요 에이전트는 간결한 실행 계약 (스크립트 및 종속성) 을 제공하고, 홀드아웃 에이전트는 평가 데이터를 개발 루프에 노출시키지 않고 독립적으로 평가를 수행하여 지표를 기록합니다.
• 시각화 및 검사: 시스템은 고동적 범위, 이상치, 그리고 TIFF 와 같은 무손실 형식을 처리하여 에이전트가 볼 수 있는 PNG 로 변환하는 과학적 이미지를 렌더링하는 도구를 포함합니다. 이를 통해 에이전트는 중간 결과를 검사하고 시각적으로 실패 모드를 진단할 수 있으며, 이는 텍스트 중심 코딩 에이전트에서 종종 결여된 기능입니다.
• 동적 환경 관리: 사전 구성된 환경을 요구하는 시스템과 달리 CVEvolve 는 에이전트가 자신의 로컬 런타임을 관리할 수 있게 합니다 (예: 종속성 설치 및 실행을 위해 uv 사용). 이를 통해 에이전트는 발견 과정의 일부로 손상된 스크립트를 수정하고 작업 공간을 구성할 수 있습니다.
• 상태 관리: 검색 기록은 컨텍스트 내 메모리나 벡터 기반 RAG 에만 의존하는 것이 아니라 영구적인 SQLite 데이터베이스에 저장됩니다. 이는 계보, 지표, 그리고 후보 아티팩트의 구조화된 기록을 보장하여 결정론적 순위 매기기 및 세션 복구를 용이하게 합니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 제시합니다:

1. 일반 에이전트 프레임워크: 사전 정의된 모델링 파이프라인이나 경직된 평가 하네스가 필요 없는 비구조화 문제를 위한 자율 알고리즘 발견 시스템.
2. 과학적 시각화 지원: 고동적 범위, 이상치에 대한 견고성, 그리고 정량적 이미지 정보의 충실한 렌더링을 지원하는 과학 데이터 전용 도구.
3. 장기 검색 하네스: 생성, 조정, 진화 행동을 계보 인식 상태 관리 및 과최적화를 감지하는 에이전트 주도 홀드아웃 테스트 메커니즘과 결합한 시스템.
4. 지표 번역: 사용자가 제공한 지표 설명을 실행 가능한 평가 절차로 번역하는 에이전트의 능력.
5. 런타임 유연성: 에이전트가 자신의 실행 환경을 구축하고 관리하여 사전 구성 설정에 대한 의존성을 줄임.
6. 실증적 증명: 세 가지 서로 다른 과학 영상 작업에 대한 프레임워크의 검증.

실험 결과

CVEvolve 는 Claude Opus 4.6 모델을 사용하여 세 가지 비구조화 과학 영상 작업에서 평가되었습니다:

1. X 선 형광 (XRF) 이미지 등록:

   • 작업: 다양한 선명도를 가진 노이즈가 많고 고동적 범위인 XRF 이미지의 병진 등록.
   • 결과: CVEvolve 는 평균 유클리드 오차 0.12를 달성하는 분석 알고리즘을 발견했습니다. 이는 무차별 대입 방식의 기초 (0.98) 보다 거의 8 배 개선된 것이며, 500 회 반복으로 수렴에 도달했던 이전 OpenEvolve 구현체 (0.23) 보다도 훨씬 우수한 성능을 보였습니다.
   • 일반화: 홀드아웃 테스트 오차는 개발 오차와 밀접하게 일치하여 과최적화 없이 견고한 일반화를 나타냈습니다.

2. 브래그 피크 감지:

   • 작업: 노이즈가 많은 배경과 다양한 피크 모양을 가진 X 선 회절 이미지에서 브래그 피크를 식별.
   • 결과: 홀드아웃 F1 점수는 5 라운드에서 정점 (0.788) 에 달한 후 후속 라운드에서 감소하여, 작은 개발 세트에 과적합되기 전에 최적 후보를 식별하기 위한 홀드아웃 추적의 유용성을 입증했습니다. 가장 좋은 후보는 F1 점수를 0.298(기초) 에서 0.788 로 개선했으며, 정밀도는 0.237 에서 0.839 로 상승했습니다.

3. 고에너지 회절 현미경 (HEDM) 분할:

   • 작업: 다결정 회절 이미지에서 분말 링과 브래그 피크를 구분.
   • 결과: 에이전트는 로그 변환, 방사형 배경 추정, 그리고 일관성 검사를 포함하는 워크플로우를 발견했습니다. 가장 좋은 후보는 16 라운드에서 홀드아웃 세트에 대해 가중 IoU 0.50을 달성하여 기초 (0.37) 를 크게 능가했습니다.

확률적 샘플링 검증:
합성 2D 함수의 최대값을 찾는 "토이 문제" 실험은 높은 온도 ($\tau=5$) 를 사용한 확률적 샘플링이 시스템이 지역 최적점에서 벗어나 6 라운드 내 모든 시도에서 전역 최대값을 찾게 했음을 보여주었습니다. 반면, 결정론적 샘플링 ($\tau=0$) 은 30 라운드 내 5 회 시도 중 3 회에서 최대값을 찾지 못하여 성능이 낮지만 유망한 계보를 탐색하는 것의 중요성을 강조했습니다.

중요성 및 주장

본 논문은 CVEvolve 가 도메인 과학자들이 견고하고 해석 가능하며 작업별 데이터 처리 방법을 개발하는 장벽을 낮춤으로써 더 자율적인 과학 발견 워크플로우를 향한 한 걸음이라고 주장합니다.

• 제로-코드 인터페이스: 과학자들이 커스텀 평가 스크립트를 작성하거나 복잡한 환경을 관리할 필요 없이 자연어로 작업과 데이터를 설명할 수 있게 합니다.
• 과최적화 극복: 에이전트 운영 홀드아웃 테스트와 계보 인식 샘플링을 통합함으로써 자율 알고리즘 개발의 치명적인 취약점을 해결하여 발견된 알고리즘이 잘 일반화되도록 보장합니다.
• 간극 해소: 이 프레임워크는 현재 AutoML 시스템의 구조화된 가정과 과학 데이터 처리의 비구조화된 현실 사이의 간극을 성공적으로 메우며, LLM 기반 에이전트가 특정 과학적 맥락에서 인간이 설계한 기초를 능가하거나 이에 필적하는 알고리즘을 자율적으로 합성할 수 있음을 입증합니다.

저자들은 CVEvolve 를 도메인 과학자를 대체하는 것이 아니라, 수동적인 시행착오 스크립팅에서 자율 알고리즘 진화로 부담을 전환함으로써 실용적인 과학 데이터 처리 방법 개발을 가속화하는 도구로 위치시킵니다.