Multi-Modal Learning meets Genetic Programming: Analyzing Alignment in Latent Space Optimization

1. 문제 정의 (Problem)

• 전통적 GP 의 한계: 전통적인 유전 프로그래밍은 방대한 기호적 (symbolic) 해 공간을 조합적 탐색 (combinatorial search) 으로 탐색합니다. 이는 계산 비용이 크고 비효율적일 수 있습니다.
• LSO-GP 의 등장: 최근에는 신경망 인코더를 사용하여 기호적 표현식을 연속적인 잠재 공간 (latent space) 으로 매핑한 후, 연속 최적화 알고리즘을 적용하는 잠재 공간 최적화 (LSO) 방법이 제안되었습니다.
• SNIP 의 접근: SNIP(Meidani et al., 2024) 는 CLIP 에서 영감을 받아, 수식 기호 (Genotype) 와 수치적 행동 (Phenotype) 을 공유 잠재 공간에 정렬 (align) 하는 다중 모달 모델을 제안했습니다. 이 모델은 수치 공간에서의 최적화가 기호 공간 탐색을 암시적으로 유도할 것이라고 가정합니다.
• 핵심 의문: 그러나 기존 CLIP 과 같은 대비 학습 (contrastive learning) 모델은 세밀한 (fine-grained) 의미적 구분을 포착하는 데 한계가 있습니다. SNIP 이 실제로 학습된 정렬 (alignment) 을 통해 효과적인 기호적 최적화를 수행할 수 있는지, 그리고 그 정렬이 충분히 정밀한지에 대한 검증이 부족했습니다.

2. 연구 방법론 (Methodology)

저자는 SNIP 의 두 가지 핵심 가정을 검증하기 위해 두 가지 실험 연구를 설계했습니다.

가설 1 (H1): 알고리즘적 활용 여부

• 목표: 최적화 과정에서 LSO 알고리즘이 학습된 '교차 모달 정렬 (cross-modal alignment)'을 적극적으로 활용하는지 확인.
• 실험: SNIP 의 원래 LSO 알고리즘을 실행하며, 각 반복 단계에서 최적 개체의 **수치적 적합도 ($R^2$)**와 **기호 임베딩 - 수치 타겟 임베딩 간의 정렬 점수 (Cosine Similarity)**를 추적했습니다.
• 논리: 만약 알고리즘이 정렬을 활용한다면, 적합도가 향상됨에 따라 정렬 점수도 함께 증가해야 합니다.

가설 2 (H2): 정렬의 세밀함 (Granularity)

• 목표: 학습된 정렬이 구조적으로 유사하지만 의미적으로 다른 기호 표현식을 구별할 수 있는지 확인.
• 실험 (검색 과제): 기준 수식과 그 수치 데이터를 입력으로 주어졌을 때, 약간의 변형 (단항 연산자 교체, 이항 연산자 교체, 상수 변경, 변수 치환 등) 을 가한 여러 후보 식 중 정답 식을 정렬 점수 (Cosine Similarity) 를 기반으로 찾아내는 작업을 수행했습니다.
• 데이터: SRBench 의 Feynman 물리 방정식과 합성 데이터 (Synthetic data) 를 사용했습니다.

3. 주요 결과 (Key Results)

실험 1: 최적화 중 정렬의 부재

• 수치적 성능 향상: 최적화 과정에서 $R^2$(적합도) 는 0.73 에서 0.99 로 지속적으로 향상되었습니다.
• 정렬 점수 정체: 반면, 기호 - 수치 간의 정렬 점수는 최적화 초기부터 끝까지 거의 변하지 않거나 오히려 감소했습니다 (Feynman 데이터셋에서 0.038 → 0.001).
• 결론: 최적화 알고리즘은 학습된 교차 모달 정렬을 전혀 활용하지 않고, 수치적 적합도만 기반으로 탐색을 진행합니다. (H1 입증)

실험 2: 정렬의 과도한 거칠음 (Coarse-grainedness)

• 검색 성능 저하: SNIP 은 구조적으로 매우 유사한 변형 식을 구별하는 데 실패했습니다.
  • Feynman 데이터셋: 정답 식을 1 순위로 찾는 정확도는 **18.3%**로, 무작위 추측 (27.3%) 보다도 낮았습니다. 이는 오히려 잘못된 변형 식이 정답보다 더 높은 유사도 점수를 받는 경우가 많다는 것을 의미합니다.
  • Synthetic 데이터셋: 무작위 추측 (22.9%) 과 거의 동일한 성능 (23.0%) 을 보였습니다.
• 구체적 실패 원인:
  • 이항 연산자 교체 (+ ↔ -, × ↔ ÷ 등): 모델이 가장 혼동하는 부분으로, 전체 실패의 49% 를 차지했습니다.
  • 상수 변경: 모델이 상수 처리에 어려움을 겪는 것으로 확인되었으나, 상수 변형을 제거해도 정렬의 구별 능력은 여전히 무작위 수준에 머물렀습니다.
• 결론: SNIP 이 학습한 정렬은 고수준의 수치적 행동은 포착할지라도, **기호적 구조의 미세한 차이 (fine-grained structural differences)**를 구별할 만큼 정밀하지 않습니다. (H2 입증)

4. 주요 기여 (Key Contributions)

1. SNIP 의 비활성화 발견: SNIP 의 LSO 프로세스가 학습된 교차 모달 정렬을 최적화 중에 적극적으로 활용하지 않음을 실증적으로 증명했습니다.
2. 정렬의 세밀함 한계 규명: 대비 학습 기반의 다중 모달 모델이 상징적 회귀에 필요한 미세한 기호적 구분을 수행하기에는 정렬이 너무 거칠다는 것을 검색 작업을 통해 입증했습니다.
3. 향후 연구 방향 제시: 다중 모달 LSO 의 성공을 위해서는 단순한 정렬이 아닌, **세밀한 정렬 (fine-grained alignment)**을 달성하는 것이 핵심 과제임을 강조하고, 이를 위한 알고리즘적 및 모델적 개선 방향을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 이론적 통찰: 시각 - 언어 모델 (CLIP) 의 성공이 상징적 - 수치적 도메인으로 자연스럽게 확장되지 않음을 보여줍니다. 시각적 의미의 '거시적 유사성'과 수학적 기호의 '미시적 구조적 차이'는 본질적으로 다른 수준의 정밀도를 요구합니다.
• 실용적 함의: 현재 SNIP 과 같은 모델은 수치적 적합도는 잘 맞추지만, 실제 해석 가능한 기호적 식을 찾는 능력 (Symbolic Retrieval) 이 부족합니다. 이는 다중 모달 LSO 가 상징적 회귀 분야에서 기대했던 잠재력을 아직 실현하지 못했음을 의미합니다.
• 미래 과제:
  • 모델 개선: Hard negative mining(미세하게 다른 변형 식을 학습 데이터에 포함) 이나 세밀한 구분을 장려하는 새로운 대비 학습 목적 함수 개발 필요.
  • 알고리즘 개선: 정렬 점수를 명시적인 최적화 목적 함수로 포함하되, 모델의 정렬 정밀도가 먼저 향상되어야 함을 강조.

결론적으로, 이 논문은 다중 모달 학습이 유전 프로그래밍에 가져올 수 있는 잠재력은 크지만, 현재 기술 수준에서는 **세밀한 기호 - 수치 정렬 (Fine-grained Alignment)**의 부재로 인해 효과적인 탐색이 불가능함을 명확히 지적하고 있습니다.