기술 요약: 가르칠 수 있는 범위를 넘어: 에이전트 기반 시각적 생성의 지식 경계 진화

1. 문제 정의: 세계 지식의 병목 현상 (The World-Knowledge Bottleneck)

시각적 생성 모델은 알려진 개념을 렌더링하는 데는 뛰어나지만, 무한하고 진화하며 롱테일(long-tailed) 특성을 가진 세계 지식(예: 최근 사건, 니치한 문화적 상징, 또는 특정 IP 캐릭터)을 요구하는 요청에는 처참하게 실패합니다. 이는 구조적 병목 현상입니다. 생성기는 고정된 코퍼스(corpus)를 바탕으로 학습되어 내재적인 지식 컷오프(knowledge cutoff)를 갖는 반면, 사용자의 요청은 개방적이기 때문입니다.

본 논문은 현재의 생성기들이 자신이 무엇을 모르는지 인식하는 메커니즘이 결여되어 있다는 점을 지적합니다. 결과적으로, 이들은 무지를 인정하거나 외부 정보를 탐색하는 대신 "확신을 가지고 허구(fabricate)를 만들어냅니다." 기존의 벤치마크는 주로 알려진 개념 내에서의 렌더링을 테스트하기 때문에 이러한 동적인 문제를 포착하지 못합니다. 검색 집약적인 프롬프트로 테스트했을 때, 최첨단 오픈 웨이트 생성기들은 표준 프롬프트 성능에 비해 최대 40포인트 하락한 100점 만점에 21~28점만을 기록하며 붕괴하는 모습을 보였습니다.

단순한 해결책인 '생성기에 검색 도구를 장착하는 것'은 **검색 노이즈(search noise)**를 유발하기 때문에 실패합니다. 모든 프롬프트에 대해 맹목적으로 정보를 검색하면, 생성기의 입력값에 부적절한 시각적 세부 사항, 스타일 오염, 또는 가공의 구조를 주입하여 품질을 저하시킵니다. 핵심 과제는 단순히 지식을 검색하는 것이 아니라, 생성기 특유의 진화하는 지식 경계(knowledge boundary), 즉 생성기가 학습을 통해 내재화할 수 있는 영역과 외부 컨텍스트로 남겨두어야 할 영역 사이의 경계를 정의하는 것입니다.

2. 방법론 (Methodology)

본 논문은 **노이즈에 강한 에이전트 추론기(noise-resistant agentic reasoner)**와 공동 학습(co-training) 프레임워크를 사용하여 지식 경계를 발견하고 준수하는 에이전트 기반 시각적 생성 프레임워크인 SearchGen을 제안합니다.

2.1 데이터셋 및 벤치마크 구축

이 문제를 체계적으로 연구하기 위해 저자들은 다음을 구축했습니다:

• SEARCHGEN-20K: 12개의 실패 카테고리와 22개의 도메인(예: 시간적 사건, 엔티티/IP, 문화적 특수성)을 아우르는 20,839개의 세계 지식 기반 프롬프트 데이터셋입니다. 여기에는 34,694개의 시각적 참조 슬롯과 16,345개의 텍스트 지식 슬롯이 포함됩니다.
• SEARCHGEN-BENCH: 세계 지식 근거(world-knowledge grounding)를 평가하기 위해 데이터셋에서 파생된 벤치마크입니다.
• SEARCHGEN-CORPUS-1M: 145,642개의 아카이브된 검색 세션과 370,733개의 캐시된 다운로드를 포함하는 사전 실행 및 동결된 멀티모달 코퍼스입니다. 이를 통해 라이브 API나 변동되는 검색 결과에 의존하지 않고 재현 가능한 오프라인 연구가 가능합니다.

2.2 노이즈 저항적 에이전트 추론기 (Noise-Resistant Agentic Reasoner)

검색 노이즈가 생성을 오염시키는 것을 방기하기 위해, 저자들은 3단계 Gate–Filter–Integrate 프로토콜을 도입했습니다:

1. Gate (관문): 추론기(VLM)가 프롬프트를 분석하여 지식 격차를 식별합니다. 격차를 유형과 심각도에 따라 분류하며, "중요(critical)"하거나 "중요한(important)" 격차에 대해서만 검색을 트리거합니다. 또한 각 쿼리에 대한 모달리티(이미지 vs 웹 텍스트)를 결정합니다.
2. Filter (필터): 결과를 검색한 후, 추론기는 식별된 격차를 구체적으로 채울 수 있는 참조를 선택하면서 동시에 불필요한 내용(예: 전체 이미지를 필터링하여 필요한 시각적 특징만 추출)을 최소화합니다.
3. Integrate (통합): 원본 이미지를 직접 전달하는 대신, 추론기는 시각적 참조를 근거가 있는 자연어 인용(예: "이미지 I를 따라 청록색과 금색 로브를 입은 캐릭터를 렌더링하라")으로 변환합니다. 이는 누락된 지식은 보존하면서도 스타일 누출이나 정체성 혼합을 일으키는 픽셀 수준의 노이즈를 제거합니다.

2.3 공동 학습 프레임워크: "가르치고, 그 다음 검색하라" (Teach, Then Search)

저자들은 지식 경계 $B(\theta)$를 내재화 가능한 지식($K_{int}$)과 컨텍스트 지식($K_{ctx}$) 사이의 분할로 정의합니다. 이 경계는 생성기마다 다르며, 모델이 개선됨에 따라 이동합니다. 이 경계를 발견하기 위해 두 단계의 공동 학습 루프를 제안합니다:

• 단계 1: Teach (온라인 반복 DPO)
  시각적 생성기를 검색 증강 입력(search-augmented inputs)을 사용하여 직접 선호도 최적화(DPO) 방식으로 학습시킵니다. 생성기는 프롬프트당 여러 이미지를 샘플링하며, 선호도 쌍은 품질 점수를 기반으로 구성됩니다. 이 단계는 두 가지 목적을 가집나다:

  1. 내재화(Internalization): 경계를 바깥쪽으로 밀어내어, 이전에는 검색이 필요했던 안정적인 시각적 지식을 생성기가 내재화할 수 있도록 합니다.
  2. 노이즈 강건성(Noise Robustness): 불완전한 검색 증강 입력으로 학습함으로써, 생성기는 참조 정보에 압도되지 않으면서 이를 통합하는 법을 배웁니다.

• 단계 2: Search (거부 샘플링 미세 조정)
  생성기의 경계가 이동하면, 추론기를 재교정합니다. 거부 샘플링 미세 조정(RFT)을 사용하여, 검색 정책이 출력을 개선한 궤적(긍정적 이점)과 출력을 저하시킨 궤적(부정적 이점)을 바탕으로 추서기를 학습시킵니다. 추론기는 생성기가 이제 내재화한 개념에 대해서는 검색을 자제하는 법을 배우며, 효과적으로 "검색 정책을 안쪽으로 이동시켜" 새로운 경계에 맞춥니다.

3. 주요 결과

본 논문은 SEARCHGEN-BENCH를 사용하여 두 가지 오픈 웨이트 생성기(Flux.2-Klein-4B 및 Bagel-7B)에 대해 프레임워크를 검증합니다.

• 단조적 개선 (Monotonic Improvement): No Search $\to$ Blind Search (SFT 추론기) $\to$ Generator-Adaptive Search (RFT 추론기)로 진행됨에 따라 모든 난이도 계층에서 일관되고 단조적인 이득을 얻습니다.
• 선택성 (Selectivity): 교정된 추론기는 검색이 필요하지 않은 프롬프트(NoSearch 계층)에서 성능을 성공적으로 회복합니다. 나이브한 검색이 성능 저하를 일으렸던 곳에서, 적응형 추론기는 점수를 49.9(No Search 베이스라인)에서 56.9로 향상시킨 반면, Blind Search는 점수를 60.4로 떨어뜨렸습니다.
• 생성기 특이성 (Generator-Specificity): 최적의 검색 정책은 생성기의 현재 능력에 따라 달라집니다. DPO로 강화된 생성기에 맞춰 교정된 추서기는 베이스 생성기와 결합했을 때 성능이 현저히 떨어지며, 이는 경계가 쌍(pair)의 공동 속성임을 확인시켜 줍니다.
• 성능 격차:
  • 나이브한 검색을 사용하는 오픈 생성기는 검색 집약적 프롬프트에서 약 22~28/100점으로 붕괴합니다.
  • 공동 학습된 시스템(8B 추론기 + 4B 생성기)은 31.8/100을 달성하여, 동일한 생성기와 결합된 프런티어 오라클(Gemini-3-Flash, 31.2/100)을 약간 상회합니다.
  • 통합 검색 기능을 갖춘 상용 시스템(예: GPT-Image-2, 71.2)보다는 낮지만, 본 프레임워크는 작고 공동 학습된 에이전트가 훨씬 더 크고 일반적인 추론기에 근접할 수 있음을 보여줍니다.

4. 의의 및 주장

본 논문은 에이전트 기반 시각적 생성의 핵심 과제가 단순히 정보를 검색하는 것이 아니라, 자신이 무엇을 모르는지 아는 것이라고 주장합니다.

• 발견 가능한 경계: 지식 경계는 프롬프트 분포의 고정된 속성이 아니라, 생성기 학습에 따라 이동하는 동적이고 발견 가능한 양입니다.
• 공동 학습의 필요성: 저자들은 검색 정책이 고정된 생성기를 대상으로 최적화될 수 없다고 주장합니다. 생성기가 먼저 지식을 내재화하도록 가르쳐야 하며, 그 후에 추론기를 새로운 경계에 맞춰 재교정해야 합니다.
• 미니멀리스트 레시피: 본 프레임워크는 "미니멀리스트 레시피"(한 번의 DPO 패스, 한 번의 RFT 패스, 8B 추론기, 4B 생성기)가 이러한 자기 개선 루프를 구축하는 데 충분하다는 것을 입증합니다.
• 확장성: 이 연구는 더 큰 모델이 더 많은 지식을 내재화할 수는 있지만, 현실 세계의 무한한 특성 때문에 경계는 결코 사라지지 않을 것임을 시사합니다. 공동 학습은 검색 정책을 생성기의 진화하는 능력에 지속적으로 적응시키는 메커 mechanism을 제공합니다.

저자들은 도구 증강 및 세계 지식 근거 기반 시각적 생성을 위한 미래 연구의 "재생 가능한 하네스(replayable harness)" 역할을 할 수 있도록 전체 데이터셋, 공동 학습 코퍼스 및 검색 코퍼스를 공개합니다.