🤖 machine learning

LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

이 논문은 대규모 언어 모델 (LLM) 을 완전한 에이전트가 아닌 도구로 활용하여, 코드에서 추출한 모듈을 계층적 트리로 표현하고 알고리즘적 탐색과 LLM 의 결합을 통해 신뢰성 있고 개방적인 신경망 구조 탐색 (NAS) 을 수행하는 'LLMasTool' 프레임워크를 제안합니다.

원저자: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏗️ 1. 문제 상황: "완벽한 건축가" vs "현실적인 시공"

기존의 문제점 (LLM 을 '마법사'로 쓰면 안 되는 이유)
기존 연구자들은 LLM 에게 "최고 성능의 인공지능 구조를 만들어줘!"라고 주문했습니다. 마치 LLM 을 완벽한 건축가처럼 대우한 셈이죠.

문제: LLM 은 훈련된 데이터에 있는 패턴만 반복해서 만들어냅니다. 마치 "모든 집은 벽돌로 지어야 한다"고 배웠다면, 유리나 나무로 된 새로운 집을 짓지 못하는 것과 같습니다.
결과: LLM 이 만든 설계도는 말로는 그럴듯해 보이지만, 실제로 시공하면 건물이 무너지거나 (실행 불가) 성능이 떨어지는 경우가 많았습니다.

이 논문의 해결책 (LLM 을 '조수'로 쓰다)
저자들은 LLM 을 독립적인 건축가가 아니라, **현장 지시자가 있는 '현명한 조수'**로 바꾸었습니다.

핵심 아이디어: "우리가 먼저 큰 그림 (어떤 부위를 고칠지) 을 정하고, LLM 에게 '이 부분의 세부적인 나사 조임'만 맡기자"는 것입니다.

🌳 2. 핵심 기술 3 가지 (창의적인 비유)

① 레고 블록 모으기 (모듈 마이닝)

비유: 건축 현장에서 쓸모 있는 레고 블록들을 미리 모으는 작업입니다.
설명: 기존에 사람들이 만든 수많은 인공지능 코드 (소스 코드) 를 자동으로 분석해서, 쓸모 있는 부품 (모듈) 들만 뽑아내서 **부품 창고 (데이터베이스)**를 만듭니다.
효과: LLM 이 처음부터 블록을 발명할 필요 없이, 이미 검증된 좋은 부품들을 꺼내서 쓸 수 있게 됩니다.

② 나무 구조로 설계도 그리기 (Tree Transformation)

비유: 복잡한 전기 회로도 대신, **가계도 (나무)**처럼 구조를 표현합니다.
설명: 기존에는 인공지능을 복잡한 그래프 (회로도) 로 표현했는데, 이는 수정하기 매우 어렵습니다. 대신, '루트 (뿌리) → 가지 → 잎'처럼 계층적인 나무 구조로 바꿨습니다.
효과: "이 가지를 잘라내고 (삭제)", "이 잎을 다른 잎으로 바꾸기 (교체)", "새 가지 추가하기 (삽입)"처럼 나무를 다듬는 것처럼 쉽게 수정할 수 있습니다. LLM 이 코드를 통째로 다시 쓸 필요 없이, 나무의 특정 부분만 고치면 됩니다.

③ 지시자와 조수의 협업 (Coarse-to-Fine)

비유: **현장 소장 (알고리즘)**이 "오늘은 2 층 벽을 칠하자"고 큰 방향을 정하고, **페인트공 (LLM)**에게 "이 벽을 어떤 색으로 칠할지, 어떤 붓을 쓸지"만 결정하게 합니다.
작동 원리:
1. 큰 방향 (알고리즘): "어떤 부위를 고칠지", "어떤 부품을 쓸지"를 무작위나 통계로 다양하게 정합니다. (LLM 의 편견을 깨기 위함)
2. 세부 조정 (LLM): 정해진 범위 안에서 "이 부품의 크기를 32 로 할지 64 로 할지" 같은 세부 숫자만 LLM 이 정합니다.
효과: LLM 이 처음부터 모든 것을 결정하면 편향된 결과만 나오지만, 이렇게 알고리즘이 방향을 잡고 LLM 이 세부사항을 채우는 방식은 훨씬 더 창의적이고 안정적인 결과를 냅니다.

🚀 3. 왜 이 방법이 좋은가요? (결과)

이 방법은 CIFAR-10, CIFAR-100, ImageNet 같은 유명한 시험에서 기존 최고의 방법들보다 더 높은 점수를 받았습니다.

기존 방식: LLM 이 "내가 아는 패턴대로"만 지어서 한계가 명확했습니다.
LLMasTool 방식:
- 다양성: 알고리즘이 LLM 의 편견을 깨고 새로운 방향을 제시합니다.
- 신뢰성: LLM 이 코드를 통째로 쓰지 않고, 검증된 부품만 조립하므로 실행 오류가 거의 없습니다.
- 효율성: 과거의 성공 사례를 분석해서 "어떤 수정이 효과가 있었는지"를 학습하며 점점 더 똑똑해집니다.

💡 한 줄 요약

"LLM 을 혼자서 모든 것을 결정하는 천재가 아니라, 검증된 부품과 명확한 지시 아래서 세부 사항을 완벽하게 처리하는 '현명한 조수'로 활용하자. 그랬더니 인공지능 설계가 훨씬 더 빠르고, 안정적이며, 혁신적으로 변했다!"

이 연구는 인공지능이 스스로 진화하는 과정에서, 인간의 경험 (기존 코드) 과 AI 의 지능 (LLM) 이 서로의 약점을 보완하며 협력하는 새로운 모델을 제시합니다.

1. 문제 정의 (Problem)

신경망 아키텍처 탐색 (NAS) 은 고성능 딥러닝 모델을 자동으로 발견하는 것을 목표로 하지만, 기존 방법론들은 다음과 같은 한계를 가지고 있습니다.

전통적 알고리즘 기반 NAS: 실행 가능한 아키텍처를 보장하기 위해 설계자가 수동으로 정의한 제한된 탐색 공간 (Search Space) 에 의존합니다. 이는 개방형 (Open-ended) 탐색을 제한하고 설계자의 선입견 (Bias) 에 갇히게 만듭니다.
LLM 기반 에이전트 접근법: 최근 대규모 언어 모델 (LLM) 을 자율 에이전트로 사용하여 아키텍처를 생성하는 시도가 있었으나, 다음과 같은 문제가 발생합니다.
- 신뢰성 부족: 복잡한 아키텍처를 생성할 때 실행 가능한 (Executable) 코드를 보장하기 어렵습니다.
- 편향성 (Bias): LLM 은 훈련 데이터에 존재하는 특정 패턴에 편향되어 있어, 진정한 의미의 개방형 탐색이 어렵습니다.
- 제어 불가능성: LLM 이 모든 결정을 내리는 방식은 탐색 과정을 통제하기 어렵게 만듭니다.

2. 방법론 (Methodology)

저자들은 LLMasTool이라는 새로운 NAS 프레임워크를 제안합니다. 이는 LLM 을 완전한 자율 에이전트가 아닌, 알고리즘적으로 제어된 프레임워크 내에서 **도구 (Tool)**로 활용하는 하이브리드 접근법입니다.

핵심 구성 요소

코드 기반 모듈 마이닝 (Algorithm-based Module Mining):
- LLM 이 아닌 규칙 기반 알고리즘을 사용하여 기존 PyTorch 소스 코드에서 재사용 가능한 모듈 (예: ConvBlock, ResBlock 등) 을 자동으로 추출합니다.
- 생성된 모듈 데이터베이스 ( $D_M$ ) 는 검색 공간의 기초가 되며, LLM 의 환각 (Hallucination) 을 방지하고 기존 연구 지식을 직접 재사용할 수 있게 합니다.
배포 친화적 계층적 트리 표현 (Deploy-Friendly Hierarchical Tree Representation):
- 기존 NAS 의 데이터 흐름 (Data-flow) 그래프 대신, PyTorch 모델 정의 방식에 맞춰 계층적 트리로 아키텍처를 표현합니다.
- 루트 노드는 전체 모델, 자식 노드는 백본 (Backbone), 넥 (Neck) 등의 모듈, 그리고 리프 노드는 하이퍼파라미터를 나타냅니다.
- 이 구조는 복잡한 코드 블록을 직접 재사용하고, 상향식/하향식 설계를 용이하게 합니다.
트리 변환을 통한 진화 (Tree Transformations as Evolution):
- 아키텍처 생성을 '코드 생성'이 아닌 '트리 변환'으로 정의합니다.
- 5 가지 기본 연산: 하이퍼파라미터 변경, 모듈 교체 (Swap), 삽입/삭제 (Insert/Delete), 복합 모듈 생성 (Create), 이전 성공 연산 반복 (Repeat Previous).
** coarse-to-fine (거시 - 미시) 의사결정 프레임워크:**
- 거시적 계획 (Coarse-level): 알고리즘이 탐색 방향을 결정합니다.
  - 다양성 유도: LLM 의 편향을 피하기 위해 다양한 변경 방향을 알고리즘적으로 나열합니다.
  - 베이지안 샘플링: 히스토리 데이터 ( $D_H$ ) 를 기반으로 베이지안 모델 (Thompson Sampling) 을 사용하여 탐색 (Exploration) 과 활용 (Exploitation) 의 균형을 맞춥니다.
- 미시적 결정 (Fine-level): LLM 을 도구로 활용합니다.
  - 알고리즘이 지정한 범위 내에서 구체적인 모듈 선택, 하이퍼파라미터 값 설정, 실행 가능한 코드/설정 생성을 담당합니다.
  - LLM 은 "어떻게 (How)"를 결정하지만, "무엇을 (What)"과 "어디에 (Where)"는 알고리즘이 통제하여 LLM 의 편향을 제한합니다.

3. 주요 기여 (Key Contributions)

LLM-as-Tool 패러다임: LLM 을 자율 에이전트가 아닌, 알고리즘적 제약 하에 작동하는 도구로 위치시킴으로써 신뢰성과 개방형 탐색을 동시에 달성했습니다.
코드 마이닝 및 트리 표현: 기존 소스 코드에서 자동으로 모듈을 추출하고 계층적 트리 구조로 매핑하여, 기존 지식의 직접적인 재사용과 실행 가능한 아키텍처 생성을 가능하게 했습니다.
계층적 베이지안 샘플링: 거시적 단계 (연산 선택, 프롬프트 카테고리) 에 Thompson Sampling 을 적용하여 희소하고 노이즈가 많은 히스토리 데이터에서도 효율적인 탐색을 가능하게 했습니다.
성능 입증: 다양한 벤치마크에서 기존 SOTA 방법론들을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

저자들은 NAS-Bench-201, CIFAR-10, CIFAR-100, ImageNet16-120, ImageNet-100 등 다양한 데이터셋에서 실험을 수행했습니다.

성능 향상:
- CIFAR-10: 95.31% (기존 SOTA 대비 0.69 포인트 향상)
- CIFAR-100: 77.83% (기존 SOTA 대비 1.83 포인트 향상)
- ImageNet16-120: 53.20% (기존 SOTA 대비 2.68 포인트 향상)
비교 분석:
- 수동으로 설계된 탐색 공간 기반 방법론 (Λ-DARTS 등) 과 비교했을 때 훨씬 높은 성능을 보였습니다.
- 다른 LLM 기반 NAS (NADER, LLMatic 등) 와 비교했을 때, LLM 의 편향에 갇히지 않고 더 다양하고 우수한 아키텍처를 발견했습니다.
Ablation Study:
- 모듈 마이닝, 트리 표현, coarse-to-fine 계획, 계층적 Thompson Sampling 등 모든 구성 요소가 성능 향상에 필수적임을 입증했습니다.
- 특히 LLM 에 과도하게 의존하는 경우 (Full Agentic) 성능이 정체되는 반면, 알고리즘이 방향을 제어하고 LLM 이 세부 사항을 채우는 방식이 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 을 NAS 에 적용할 때의 핵심적인 딜레마인 '창의성 (LLM 의 장점)'과 '신뢰성/통제 (알고리즘의 장점)' 사이의 균형을 성공적으로 해결했습니다.

개방형 탐색의 실현: LLM 의 훈련 데이터 편향을 극복하고, 기존 연구에서 발견된 모듈을 재조합하여 인간이 상상하지 못했던 새로운 아키텍처를 탐색할 수 있는 길을 열었습니다.
실용성: 생성된 아키텍처는 즉시 실행 가능한 코드 (OpenMMLab 스타일 설정 파일 등) 로 변환되므로, 실제 배포 환경에 적용하기 용이합니다.
미래 지향성: LLM 을 '지시자'가 아닌 '보조 도구'로 활용하는 이 프레임워크는 향후 AI 시스템 설계 및 자동화 분야에서 LLM 의 역할을 재정의하는 중요한 사례가 될 것입니다.

결론적으로, LLMasTool은 LLM 의 강력한 생성 능력을 유지하면서도 알고리즘적 엄격함을 결합하여, 기존 NAS 방법론의 한계를 뛰어넘는 새로운 패러다임을 제시했습니다.