기술 요약: 프로젝트 오토 월드 (Project Auto-World)

문제 정의

에지 트랜스포머(Edge Transformers, ETs)와 같은 신경 관계 추론 모델은 체계적 일반화(systematic generalization) 측면에서 어려움을 겪습니다. 이러한 모델들은 훈련 데이터로부터 규칙성을 학습할 수는 있지만, 학습 시 보았던 것보다 체계적으로 더 어려운 문제 인스턴스(예: 더 많은 추론 단계, 경로 외 추론(off-path reasoning), 또는 복잡한 관계 조합이 필요한 경우)에 적용하는 데는 종종 실패합니다.

이 분야를 발전시키는 데 있어 결정적인 병목 구간은 일반화의 평가입니다. 기존의 난이도 지표(예: 추론 깊이, Off-Path Edge Count, Backtrack Load)는 불충분하거나 "사각지대"를 가지고 있는 경우가 많습니다. 또한, 모델에 진정으로 어려운 문제 인스턴스를 생성하는 것도 도전적인 과제입니다. 무작위 샘플링은 모델의 한계를 드러내는 데 필요한 특정한 구조적 조건을 만들어내기에 부족하기 때문입니다. 본 논문은 특정 신경 모델에 대해 무엇이 인스턴스를 어렵게 만드는지 사전에(a priori) 파악하기 어렵다는 점을 지적하며, 이는 표준 벤치마크가 실제 한계를 가릴 수 있다는 문제를 야기합니다.

방법론

저자들은 대규모 언어 모델(LLM)을 사용하여 도전적인 벤치마크 인스턴스를 자동 생성하는 프레임워크인 **프로젝트 오토 월드(Project Auto-World)**를 제안합니다. 핵심 아이디어는 문제 인스턴스 생성을 타겟 추론 모델을 실패하게 만드는 능력을 "적합도(fitness)"로 정의하는 최적화 문제로 취급하는 것입니다.

본 논문은 이 과정을 자동화하기 위한 세 가지 차별화된 전략을 탐구합니다:

1. LLM 기반 진화 탐색 (FunSearch 기반):

   • FunSearch 프레임워크를 응용하여, 지식 그래프(KG)의 샘플링을 가이드하는 우선순위 함수(priority functions)(Python 코드)를 진화시키기 위해 LLM을 사용합니다.
   • 이 과정은 진화적 루프를 따릅니다: LLM은 이전 세대를 바탕으로 개선된 우선순위 함수를 제안합니다.
   • 적합도 평가: 우선순위 함수는 생성된 KG 세트를 생성하고, 해당 그래프에서 유도된 쿼리에 대해 타겟 모델(Edge Transformer)을 실행한 뒤, 실패율(1 - 정확도)을 계산하여 점수를 매깁니다.
   • 시스템은 탐색을 장려하기 위해 여러 개의 "아일랜드(islands)"를 유지하며, 성과가 낮은 아일랜드를 제거하고 성과가 높은 아일랜드로부터 파생된 새로운 아일랜드로 대체합니다.

2. 오토 리서치 에이전트 (Auto-Research Agents):

   • 이 접근 방식은 모집단 기반의 진화 탐색을 대신하여, 루프 내에서 작동하는 단일 자율 코딩 에이전트(Claude Opus 4.6)를 사용합니다.
   • 에이전트는 이전 라운드의 실험 결과물(지표, 코드, 데이터)을 읽고, 우선순위 함수의 수정을 제안하며, 훈련/평가 파이프라인을 실행합니다.
   • 에이전트의 목표는 코드를 단순하게 유지하면서 Edge Transformer의 평가 정확도를 최소화하는 것입니다. 이는 에이전트가 자신의 실험 설정을 반복적으로 개선하는 "오토 리서치" 스타일의 과정을 모방합니다.

3. 모델 불가지론적 LLM 프롬프팅 (Model-Agnostic LLM Prompting):

   • 저자들은 진화적 루프 없이 프런티어 LLM에 직접 프롬프팅하여 샘플링 전략을 생성하도록 테스트했습니다.
   • 대화를 통해 LLM은 특정 샘플러(예: 깊은 유도를 위한 힐 클라이밍, 역방향 체이닝, 모티프 기반 구축)와 그래프 신경망(GNN)에 도전하기 위해 설계된 하이브리드 전략을 만들도록 유도되었습니다.

타겟 모델: 주요 평가 모델로 사용된 것은 복잡한 논리식을 포착할 수 있는 최첨단 신경 관계 추론 모델인 **에지 트랜스포머(Edge Transformer, ET)**입니다. 실험은 NoRA 벤치마크(경로 외 추론이 필요한 가족 관계)와 LLM이 생성한 새로운 도메인인 Iron Coast에서 수행되었습니다.

주요 기여

• 자동 벤치마크 생성: LLM이 무작위 샘플링이나 기존 휴리스틱보다 신경 추론기에 훨씬 더 어려운 문제 인스턴스를 생성하는 샘플링 함수를 자율적으로 발견할 수 있음을 입증했습니다.
• 새로운 난이도 차원의 발견: 학습된 샘플러들은 기존 지표(추서 깊이, OPEC, BL)로는 완전히 설명되지 않는 난이도 형태를 식별했습니다. 특히 저자들은 추론된 경로 외 엣지(inferred off-path edges)(엔티티 사이의 직접적인 경로 상에는 없지만 유도에 필요한 엣지)에 의존하는 인스턴스가 특히 까다로우며, 기존 지표들이 이를 놓치는 경우가 많다는 것을 발견했습니다.
• 적대적 훈련 및 강건성: 학습된 샘플러로 생성된 데이터로 Edge Transformer를 훈련하면 더 강력한 모델(SUPERET)을 만들 수 있음을 보여줍니다. 이 모델은 진화적 탐색 과정에 더 잘 저항하지만, 자율적인 Auto-Research 에이전트가 발견한 전략에는 여전히 취약합니다.
• 자율 연구의 실현 가능성: Auto-Research 에이전트의 성공은 규칙 정의, 데이터 생성, 모델 평가의 전체 루프를 자동화할 수 있음을 시사하며, 이는 신경 관계 추론 분야의 완전한 자율 연구로 가는 문을 열어줄 수 있습니다.

결과

• 교차 평가: 진화적 실행 또는 LLM 생성 샘플러로부터 생성된 데이터로 훈련된 모델들은 다른 전략의 테스트 세트에서 낮은 성능을 보였습니다. 이는 각 방법이 고유한 "어려운" 구조를 발견함을 나타냅 way.
• 성능 격차: 표준 ET는 분포 내(in-distribution) 데이터에서 높은 정확도를 달랐으나, 학습된 샘플러에 의해 생성된 쿼리에 대해서는 성능이 급격히 저하되었습니다(종종 정확도가 20% 미만으로 떨어짐).
• 설명되지 않는 난이도: 알려진 지표(depth, OPEC, BL)를 기반으로 모델의 성공을 예측하는 분류기를 사용한 분석 결과, Auto-Research 및 진화적 샘플러의 쿼리에서 높은 "설명되지 않는(unexplained)" 난이도 점수가 나타났습니다. 이는 이러한 방법들이 새로운 난이도의 축을 찾아내고 있음을 확인시켜 줍니다.
• 추론된 경로 외 엣지: 저자들은 특정 클래스의 어려운 쿼리가 경로 상에 직접 있지는 않지만 추론된 엣지를 포함한다는 것을 확인했습니다. 이 "Off-Path Entailed Edges(OPEEC)"의 개수를 지표로 추가하자 설명되지 않는 난이도 점수가 크게 감소하였으며, 이는 발견의 타당성을 입증합니다.
• 모델 강건성: 표준 및 적대적 데이터를 혼합하여 훈련된 SUPERЕТ(SUPERET)은 FunSearch 진화 과정에 대해 강한 저항력을 보였으나, Auto-Research 에이전트에는 여전히 도전을 받았습니다. 이는 에이전트가 더욱 강력한 전략을 찾아냈음을 시사합니다.

의의 및 주장

본 논문은 제안된 메커니즘이 신경 관계 추론기의 체계적인 스트레스 테스트를 가능하게 한다고 주장합니다. 어려운 인스턴스를 발견하는 과정을 자동화함으로써, 연구자들은 사각지대를 가질 수 있는 정적인 벤치마크를 넘어설 수 있습니다.

• 자기 개선형 샘플러: 샘플러가 점진적으로 더 어려운 인스턴스를 생성하도록 학습될 수 있음을 보여주며, 효과적인 적대적 커리큘럼을 생성합니다.
• 수기 제작 지표를 넘어서: 결과는 인간이 정의한 난이도 지표가 불충분함을 시사합니다. LLM 기반 탐색은 인간이 명시적으로 부호화하지 못한 추론 문제의 구조적 특성을 찾아낼 수 있습니다.
• 자율 연구 잠재력: even robust한 SUPERET 모델조차 도전하는 Auto-Research 에이전트의 성공은, LLM이 현재 모델의 한계를 밀어붙이기 위해 실험 설계를 반복하는 자율 연구자 역할을 할 수 있음을 나타냅니다.

저자들은 현재의 작업이 Datalog 규칙과 특정 논리 파편에 집중되어 있으며, 학습된 우선순위 함수의 완전이 다른 규칙 세트로의 전이 가능성은 여전히 열린 문제라는 점을 언급하며 겸허한 태도를 유지하고 있습니다. 그러나 LLM 정의 세계(예: Iron Coast)를 생성하는 능력은 신경 추론을 위한 완전 자동화된 평가 루프를 향한 경로를 제시합니다.