OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

다음은 ICLR 2026 논문 "OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms"에 대한 상세한 기술 요약입니다.

1. 문제 제기

본 논문은 기계 학습 (ML) 연구를 이론적 가설에서 생산 준비가 완료되고 검증된 구현체로 전환하는 과정에서 발생하는 높은 마찰을 해결합니다. 기존 자동화 기법인 신경망 구조 탐색 (NAS) 과 AutoML 은 고정된 알고리즘 구조 내에서 하이퍼파라미터와 레이어 선택을 성공적으로 최적화해 왔으나, 완전히 새로운 알고리즘 논리를 발견하는 문제는 해결하지 못했습니다. 현재, 표준 파이프라인 (예: scikit-learn) 과 통합되는 실행 가능하고 오류 없는 코드로 새로운 직관적이지 않은 아이디어를 변환하는 작업은 여전히 수동적이고 디버깅이 많이 필요한 노력입니다. 저자들은 대형 언어 모델 (LLM) 의 역할을 정적 텍스트 생성기에서 자율적 알고리즘 발견이 가능한 실행 가능한 학습 시스템으로 전환할 것을 제안합니다.

2. 방법론: OMEGA 프레임워크

OMEGA 는 아이디어 생성부터 실행 가능한 코드 평가까지 ML 알고리즘 생성의 전체 수명 주기를 자동화하도록 설계된 엔드 투 엔드 프레임워크입니다. 이는 다음 네 가지 주요 단계를 통해 작동합니다.

A. 아이디어 생성

프레임워크는 알고리즘적 개념을 생성하기 위해 두 가지 상호 보완적인 접근 방식을 활용합니다:

1. LLM 온톨로지 검색: 시스템은 기존 모델과 연구 원칙의 목록을 LLM 에 프롬프트로 제공하여 고유한 수정 사항 (모델당 10 개) 을 생성합니다. 이러한 아이디어는 구문 분석되어 코드 생성을 위한 프롬프트로 사용됩니다.
2. 인간 프롬프트 아이디어: 인간 연구자는 새로운 개념을 직접 프레임워크에 제출할 수 있으며, 이는 LLM 생성 아이디어와 함께 처리됩니다.

B. 코드 생성 및 자가 치유

아이디어가 정의되면 LLM 은 두 가지 엄격한 제약 조건 하에 코드를 생성합니다:

1. scikit-learn 준수: 생성된 모델은 BaseEstimator 를 상속하고 .fit() 및 .predict() 메서드를 구현해야 합니다. 이는 기존 ML 워크플로우와 호환되는 도메인 특화 언어 (DSL) 로서 모델이 작동하도록 보장합니다.
2. 자가 치유 파이프라인: 실행 가능성을 보장하기 위해 프레임워크는 반복적 디버깅 루프를 사용합니다. 코드 생성이 실패하면 오류 스택 트레이스가 LLM 에 다시 입력되어 코드를 재생성합니다. 이 과정은 고정된 횟수의 재시도 동안 반복되며, 코드를 수정할 수 없으면 폐기됩니다. 이를 통해 평가 단계로 진행되는 코드는 오류가 없고 컴파일 가능한 것만 남게 됩니다.

C. 평가: Infinity-Bench

생성된 알고리즘을 평가하기 위해 저자들은 20 개의 다양한 분류 데이터셋 (scikit-learn 및 OpenML 에서 제공) 을 포함한 벤치마크 저장소인 Infinity-Bench를 소개합니다.

• 다양성: 데이터셋은 크기, 특성 유형 (수치/범주), 및 도메인 (생물학, 의학, 교육) 이 다양합니다.
• 지표: 데이터셋 난이도에 따라 달라지는 원시 정확도 대신, 프레임워크는 Min-Max 정규화 순위 점수를 사용합니다.
  • 각 데이터셋 $d$에 대해 점수 $n_{m,d}$는 모델의 정확도 ($s_{m,d}$) 를 최악 ($min_d$) 과 최상 ($max_d$) 모델에 대해 정규화하여 계산합니다:
    $$n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$$
  • 최종 성능 점수는 20 개 데이터셋 전반에 걸친 이러한 정규화 순위의 평균입니다.

D. 라이브러리 생성

성능이 우수한 모델들은 Python 라이브러리 (omega-models) 로 패키징되어 표준 워크플로우에 원활하게 통합될 수 있도록 합니다.

3. 주요 기여

1. OMEGA 프레임워크: 간단한 프롬프트를 컴파일 오류가 없고 scikit-learn 호환 ML 분류기로 변환하는 자동화된 엔드 투 엔드 시스템.
2. Infinity-Bench: 20 개의 다양한 데이터셋 전반에 걸친 상대적 성능과 견고성에 기반하여 분류 모델을 평가하는 강력한 벤치마크.
3. 새로운 알고리즘 발견: 기존 베이스라인을 능가하는 두 가지 구체적인 새로운 알고리즘 생성:
   • MetaSynthesisClassifier: 인간 프롬프트에 기반한 스택드 일반화 (stacked generalization) 모델.
   • DirectionalForest: 특성 방향성 (feature directionality) 을 활용하는 LLM 자율 생성 앙상블.
4. LLM 비교 분석: 네 가지 주요 LLM(Gemini 2.5 Flash, GPT-4.1 mini, Claude Sonnet 4.5, xAI 의 grok-code-fast-1) 의 코드 생성 능력을 비교한 연구.
5. 자가 개선 전략: 프롬프트를 개선하는 것과 코드를 개선하는 것의 효율성을 비교한 재귀적 자기 프롬프팅 분석.

4. 결과

A. 베이스라인 대비 성능

OMEGA 프레임워크는 표준 scikit-learn 베이스라인 (예: RandomForest, MLPClassifier, LogisticRegression) 을 능가하는 모델을 성공적으로 생성했습니다.

• 최상위 수행자: 벤치마크 상위 3 개 모델은 OMEGA 에 의해 생성되었으며 (MetaSynthesisClassifier, VotingEnsembleClassifier, 사용자 프롬프트 변형), 각각 0.9474, 0.9445, 0.9401의 Min-Max 점수를 달성했습니다.
• 베이스라인 비교: 표준 scikit-learn 모델들은 더 낮은 순위를 기록했습니다 (예: RandomForest 0.9285, LogisticRegression 0.8708).

B. 새로운 알고리즘 분석

• MetaSynthesisClassifier: 계층적 스택드 일반화 접근 방식을 사용합니다. 특정 샘플을 제외한 데이터로 기본 추정기를 훈련하여 누수를 방지하고, 메타 추정기를 사용하여 이러한 기본 예측의 최적 가중치를 학습합니다. 이는 다양한 매니폴드 복잡성 전반에 걸쳐 뛰어난 견고성을 보여주었습니다.
• DirectionalForest: 특성 방향성을 통합한 자율적 발견입니다. 클래스 평균과 전역 평균 사이의 편차 부호를 기반으로 방향성 벡터를 계산합니다. 의사결정나무를 훈련하기 전에 입력 특성을 변환 ($x_{dir} = x \odot d$) 하여 특성 중요도 방향을 효과적으로 정규화하고 고차원 공간에서의 분산을 줄입니다.

C. LLM 비교

• Gemini 2.5 Flash는 10 개의 다양한 프롬프트를 통해 실행 가능한 분류 모델을 생성하는 데 가장 우수한 성과를 보였으며, 평균 점수 0.9162 를 달성했습니다.
• 프롬프트 품질 vs 모델 정체성: Gemini 가 주도했지만 모델 간 성능 차이는 상대적으로 작아, 특정 LLM 보다 초기 프롬프트의 품질이 더 중요할 수 있음을 시사합니다.

D. 자가 개선 (프롬프트 vs 코드)

저자들은 프롬프트를 반복하는 것과 코드를 반복하는 것 중 어떤 것이 더 나은 결과를 낳는지 테스트했습니다:

• 결과: 거의 모든 LLM 에 대해 프롬프트 튜닝이 코드 전용 최적화보다 일관되게 우월했습니다.
• 예시: Claude 의 경우 프롬프트 개선은 베이스 대비 **8.88%**의 향상을 보인 반면, 코드 개선은 **4.85%**에 그쳤습니다.
• 시사점: 이 맥락에서는 LLM 에게 자신의 코드를 디버깅하도록 요청하는 것보다 LLM 에게 제공된 개념적 지시를 정제하는 것이 더 효과적입니다.

5. 의의

OMEGA 프레임워크는 자동화된 AI 연구를 향한 중요한 걸음을 나타냅니다. 아이디어 생성과 실행 가능하고 검증된 코드 사이의 간극을 메움으로써 새로운 ML 알고리즘을 발견하는 장벽을 낮춥니다.

• 확장성: LLM 이 인간의 개입 없이 알고리즘 논리에 대해 추론하고 경쟁력 있는 생산 준비 코드를 생성할 수 있음을 보여줍니다.
• 민주화: 이러한 모델을 패키징함으로써 프레임워크는 기술적 및 비기술적 엔지니어 모두 LLM 생성 알고리즘을 활용할 수 있게 합니다.
• 미래 연구: 이 분야에서 "AI 과학자"의 성공은 가설에서 논문까지 전체 연구 파이프라인이 완전히 자동화되어 인간의 수동 유도 이상의 ML 혁신 속도를 가속화할 수 있는 미래를 시사합니다.