💻 computer science

FaSTA $^*$ : Fast-Slow Toolpath Agent with Subroutine Mining for Efficient Multi-turn Image Editing

FaSTA $^*$ 는 일반적인 하위 작업에 대해 학습된 서브루틴을 재사용하고 새로운 도전 과제에는 심층 탐색을 reserved 하여 복잡한 다회전 이미지 편집 작업을 효율적으로 해결하기 위해 빠른 LLM 기반 계획과 느리지만 정확한 A $^*$ 탐색 및 적응형 서브루틴 마이닝을 결합한 비용 효율적인 신경 심볼릭 에이전트입니다.

원저자: Advait Gupta, Rishie Raj, Dang Nguyen, Tianyi Zhou

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Advait Gupta, Rishie Raj, Dang Nguyen, Tianyi Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

FaSTA∗ 논문을 쉬운 언어와 일상적인 비유로 설명합니다.

큰 문제: 사진 편집은 복잡한 건설 프로젝트와 같습니다

사진 한 장과 매우 복잡한 지시문이 있다고 상상해 보세요: "벤치를 찾아 분홍색으로 칠하고, 고양이를 제거한 뒤, 벽을 노란색으로 칠하세요."

이를 수행하는 것은 단순히 한 번 클릭하는 것이 아닙니다. 이는 일련의 사건들의 연쇄입니다. 벤치를 찾고, 잘라낸 뒤, 색상을 변경하고, 고양이를 찾아 지운 뒤, 벽을 찾아 색상을 변경해야 합니다. AI 세계에서는 이러한 각 단계마다 서로 다른 전문 도구 (디지털 메스, 붓, 또는 탐지기 등) 가 필요합니다.

문제는 AI 도구 실행 비용이 매우 높다는 점 (시간과 컴퓨팅 파워를 소모함) 입니다. 어떤 조합이 가장 효과적인지 확인하기 위해 가능한 모든 도구 조합을 시도해 본다면, 이는 우연히 벽을 쌓을 때까지 벽돌과 망치를 무작위로 집어 들어 보는 것과 같습니다. 이는 영원히 걸리며 천문학적인 비용이 듭니다.

옛 방식: "천천히 그리고 꾸준히" 탐색

이전 방법들 (예: **CoSTA∗**라고 불리는 방법) 은 매우 신중하고 느린 탐정처럼 행동했습니다.

큰 작업을 작은 단계로 분해했습니다 (벤치 찾기, 벤치 칠하기 등).
각 단계마다 절대적으로 최고의 도구 조합을 찾기 위해 복잡한 탐색 알고리즘 (A∗ 탐색) 을 실행했습니다.
이 탐색은 정확했지만 느리고 비쌌습니다. 이는 단일 벽돌 벽을 위해 올바른 것을 선택했는지 확인하기 위해 건축가 팀에게 50 가지 다른 설계도를 그리게 하는 것과 같습니다.

새로운 방식: FaSTA∗ (빠르고 느린 에이전트)

저자들은 FaSTA∗(Fast-Slow Toolpath Agent) 를 개발했습니다. 이는 수년간의 경험을 통해 배운 마스터 계약자로 생각할 수 있습니다.

FaSTA∗는 당신의 뇌가 작동하는 방식과 유사한 "빠르고 느린" 전략을 사용합니다:

빠른 사고 (직관): 익숙한 상황 (넘어진 컵 등) 을 보면 즉시 수건을 집으라는 것을 압니다. 이에 대해 생각하지 않습니다.
느린 사고 (추론): 이상하고 새로운 상황 (낯선 파이프의 누수 등) 을 보면 멈추고 생각하며 단계별로 해결책을 찾아야 합니다.

FaSTA∗의 작동 방식:

1. "빠른" 계획: 단축키 라이브러리 활용
FaSTA∗는 매번 해결책을 탐색하는 대신 **단축키 라이브러리 (서브루틴)**를 유지합니다.

비유: 이미 백 개의 벽을 칠해 본 적이 있다고 가정해 보세요. "작은 흰색 벽"의 경우 항상 "A 번 붓"을 사용한다는 것을 압니다. 매번 페인트 붓을 조사할 필요가 없으며, A 번 붓을 바로 집으면 됩니다.
논문에서: AI 는 과거의 성공적인 작업을 살펴봅니다. 대규모 언어 모델 (LLM) 을 사용하여 패턴을 찾습니다. 이러한 패턴을 기호 규칙으로 변환합니다.
- 규칙 예시: "객체가 작고 배경이 단순하면 도구 X → 도구 Y → 도구 Z 를 사용한다."
새로운 작업이 들어오면 FaSTA∗는 먼저 라이브러리를 확인합니다. 일치하는 단축키를 찾으면 즉시 사용합니다. 이것이 **"빠른 계획"**입니다. 이는 비싼 탐색을 완전히 건너뜁니다.

2. "느린" 계획: 안전망
만약 작업이 완전히 새로운 경우이거나 단축키가 실패한다면 어떨까요?

비유: 거대하고 질감이 있는 벽화를 칠할 때 "A 번 붓" 단축키를 사용하려다 실패한다면, 포기하지 않습니다. 멈추고 붓을 내려놓은 뒤, 전문가를 불러 맞춤형 해결책을 찾아냅니다.
논문에서: "빠른 계획"(단축키) 이 작동하지 않거나 사용할 수 없으면, FaSTA∗는 **"느린 계획"**으로 전환합니다. 그 특정 어려운 단계에 대해만 비싸고 신중한 A∗ 탐색을 실행하여 완벽한 도구 경로를 찾습니다.

3. "학습" 루프: 시간이 지남에 따라 더 똑똑해지기
이 부분이 마법과 같습니다. FaSTA∗는 단순히 단축키를 사용하는 것을 넘어, 새로운 단축키를 학습합니다.

비유: 마스터 계약자가 매번 작업을 마칠 때마다 무엇이 작동했고 무엇이 작동하지 않았는지 기록합니다. 만약 "A 번 붓"이 "빨간 벽"에서는 실패한다는 것을 깨닫다면, 규칙책을 업데이트합니다: "A 번 붓은 흰색 벽용이고, 빨간 벽에는 B 번 붓을 사용한다."
논문에서: 많은 작업을 실행한 후, AI 는 자신의 "추적"(발생한 일의 로그) 을 분석합니다. 귀납적 추론을 사용하여 새로운 규칙을 만들고 이를 라이브러리에 추가합니다.
- 결과: 수행하는 작업이 많을수록 단축키도 많아지며, 비싼 "느린 계획"을 사용할 필요는 줄어듭니다.

결과: 품질을 잃지 않으면서 더 빠르고 저렴함

논문은 FaSTA∗를 구식 "느린" 방법 (CoSTA∗) 및 기타 AI 편집기들과 비교하여 테스트했습니다.

속도/비용: FaSTA∗는 평균적으로 49.3% 더 저렴하고 빠릅니다. 대부분의 작업에 "빠른" 단축키를 사용했기 때문에 비용이 거의 절반으로 절감되었습니다.
품질: 최종 이미지의 품질은 느린 방법과 거의 동일했습니다 (특정 지표에서 3.2% 미만의 미세한 감소만 있었으나, 시각적으로는 매우 경쟁력이 있었습니다).
신뢰성: 단축키가 실패할 때 "느린 계획"이 개입하여 상황을 구제함으로써 작업이 올바르게 완료되도록 보장했습니다.

요약

**FaSTA∗**는 효율성을 배우는 AI 입니다. 사진 편집을 할 때마다 매번 바퀴를 다시 발명하는 대신, "검증된" 레시피 (서브루틴) 의 정신적 라이브러리를 구축합니다. 이는 91% 의 경우 이러한 레시피를 사용하여 번개처럼 빠른 결과를 얻습니다. 오직 완전히 독특하거나 까다로운 문제에 직면했을 때만 무거운 작업을 수행하기 위해 속도를 늦춥니다. 이로 인해 복잡한 이미지 편집이 훨씬 더 실용적이고 저렴해졌습니다.

기술 요약: FaSTA∗: 효율적인 다중 턴 이미지 편집을 위한 서브루틴 마이닝이 포함된 Fast-Slow 도구 경로 에이전트

문제 정의

다중 턴 이미지 편집은 복잡한 자연어 지시에 기반하여 단일 이미지에 검출, 분할, 인페인팅, 재색칠 등 이질적인 작업들의 시퀀스를 적용해야 합니다. 기존 대규모 언어 모델 (LLM) 에이전트는 고수준 계획 수립에 뛰어나지만, 특정 AI 도구의 비용과 품질을 과소 또는 과대 평가하여 최적이지 않은 도구 경로를 생성하거나 환각 (예: 간단한 필터로 충분함에도 비싼 확산 모델을 선택) 을 일으키는 경우가 많습니다. 반면, 고전적인 $A^*$ 탐색은 검증 가능한 최적의 도구 경로를 찾을 수 있지만 계산 비용이 많이 들고 과거 경험으로부터 학습하여 미래 계획을 가속화하는 능력이 부족합니다. CoSTA∗와 같은 이전 연구는 LLM 계획과 $A^*$ 탐색을 결합했지만, 학습된 지식을 재사용하지 않고 동일한 하위 작업을 반복적으로 고비용으로 탐색하는 과정에서 여전히 계산 병목 현상이 발생했습니다.

방법론: FaSTA∗

FaSTA∗는 온라인 서브루틴 마이닝을 적응형 Fast-Slow 계획 프레임워크에 통합함으로써 이러한 비효율성을 해결하도록 설계된 신경 심볼릭 에이전트입니다. 이 시스템은 인간이 과거 경험으로부터 재사용 가능한 행동을 학습한다는 전제에 기반하며, FaSTA∗는 성공적인 도구 경로에서 지속적으로 심볼릭 서브루틴을 추출하고 정제함으로써 이를 모방합니다.

1. 온라인 귀납적 추론 및 서브루틴 마이닝

테스트 시간에만 적용되는 접근법과 달리, FaSTA∗는 서브루틴 규칙 테이블을 구축하기 위한 온라인 학습 루프를 사용합니다.

데이터 로깅: 에이전트는 각 하위 작업에 대한 상세한 실행 궤적 ( $\tau$ ) 을 기록합니다. 여기에는 취해진 도구 경로, 컨텍스트 특징 (예: YOLO 에서의 객체 크기, SAM 에서의 마스크 속성, LLM 이 추론한 배경 복잡도), 실행 비용, 그리고 품질 결과가 포함됩니다.
주기적 정제: $K$ 개의 작업 (예: $K=20$ ) 마다 시스템은 정제 사이클을 트리거합니다. LLM 은 최근 배치의 궤적에 대해 귀납적 추론을 수행하여 반복적으로 발생하는 성공적인 도구 시퀀스 (서브루틴) 와 그들이 잘 작동하는 구체적인 컨텍스트 조건을 식별합니다.
심볼릭 규칙 생성: LLM 은 하위 작업과 컨텍스트 특징을 비용 효율적인 서브루틴에 매핑하는 컴팩트한 심볼릭 규칙을 합성합니다. 예를 들어: 만약 object_size 가 "너무 작지 않음"이고 background 가 "단순한 질감"이라면, 객체 제거를 위해 YOLO $\to$ SAM $\to$ SD Inpaint 를 사용한다.
검증: 제안된 규칙은 전문 테스트 데이터셋에서 엄격한 검증을 거칩니다. "순 편익 (Net Benefit)" 점수는 비용 절감과 품질 저하 사이의 균형을 맞춥니다. 비용 - 품질 트레이드오프를 개선하는 규칙만 규칙 테이블에 통합되며, 초기 제안이 실패할 경우 정제를 위한 재시도 메커니즘이 적용됩니다.

2. 적응형 Fast-Slow 계획

FaSTA∗는 2 단계 계획 전략을 사용하여 작업을 실행합니다.

Fast 계획 (기본): LLM 이 생성한 고수준 계획의 각 하위 작업에 대해, 에이전트는 먼저 현재 이미지 컨텍스트에 기반하여 서브루틴 규칙 테이블에서 사전 학습된 서브루틴을 선택하려고 시도합니다. 이 선택은 즉각적으로 이루어지며 탐색을 피합니다.
Slow 계획 (대안): 적용 가능한 서브루틴이 없거나 선택된 서브루틴의 출력이 시각 언어 모델 (VLM) 품질 검사를 통과하지 못할 경우, 에이전트는 "Slow 계획" 단계를 트리거합니다. 이는 해당 특정 하위 작업에 대한 저수준 도구 서브그래프에서 최적 경로를 찾기 위한 국소적 $A^*$ 탐색을 포함합니다.
실행 흐름: 시스템은 Fast 계획을 우선시합니다. 비싼 $A^*$ 탐색은 Fast 계획이 실패하거나 사용할 수 없을 때만 지연 호출 (lazy invocation) 되어 평균 실행 시간을 크게 단축합니다.

주요 기여

심볼릭 서브루틴 메모리: 이 논문은 LLM 이 실행 궤적에서 재사용 가능한 서브루틴을 심볼릭 규칙으로 학습하는 방법을 제시합니다. 이는 에이전트를 상태 없는 계획자에서 학습 가능한 메모리를 갖춘 에이전트로 변환하여 다양한 작업 전반에 걸쳐 성공적인 패턴을 일반화할 수 있게 합니다.
적응형 Fast-Slow 계획: FaSTA∗는 효율적인 규칙 기반 "Fast 계획"을 우선시하면서도 "Slow 계획"( $A^*$ 탐색) 의 견고성을 대안으로 유지하는 신경 심볼릭 프레임워크를 개발합니다. 이 아키텍처는 인간의 인지 효율성을 모방하여 일반적인 경우는 신속하게 처리하고, 새로운 또는 도전적인 시나리오에 대해서는 심층 탐색을 reserved 합니다.
비용 - 품질 최적화: 이 시스템은 최첨단 베이스라인과 비교하여 경쟁력 있는 성공률을 유지하면서 계산 비용을 크게 절감하는 우수한 파레토 프론티어를 달성합니다.

실험 결과

실험은 CoSTA∗ 벤치마크 (121 개의 이미지 - 프롬프트 쌍, 총 550 개의 조작) 와 Complex-Edit 벤치마크에서 수행되었습니다.

효율성: FaSTA∗는 CoSTA∗ 대비 평균 실행 비용을 49.3% 줄였습니다 (이미지당 약 58 초에서 약 29 초로). Complex-Edit 벤치마크에서는 약 30% 의 비용 절감을 달성했습니다.
품질: 이 방법은 높은 출력 품질을 유지하며, CoSTA∗ 대비 정확도 저하는 **3.2%**에 불과합니다 (평균 인간 평가 점수 0.91 대 0.94).
서브루틴 재사용: 에이전트가 더 많은 작업을 탐색함에 따라 학습된 서브루틴의 재사용률은 기하급수적으로 증가합니다. 최종 평가에서 하위 작업의 **91%**는 "Fast 계획"(서브루틴) 으로 완전히 처리되었으며, $A^*$ 탐색으로의 대안은 9% 만 필요했습니다.
Ablation 연구:
- 서브루틴 검증 단계를 제거하면 대안 사용률이 28% 로 증가하여 배포 전 규칙 검증의 필요성을 입증했습니다.
- Slow 계획 대안을 제거하고 Fast 계획만 사용하면 품질이 크게 저하됨 (0.84) 을 확인하여 견고성을 위한 $A^*$ 탐색의 결정적 역할을 입증했습니다.
- 서브루틴 선택에 더 작은 LLM 을 사용하면 대안 사용률과 총 비용이 증가하여 귀납 단계에서 유능한 추론 모델의 필요성을 강조했습니다.

중요성 및 주장

저자들은 FaSTA∗가 이전 다중 턴 이미지 편집 방법의 주요 병목 현상인 지식 재사용 없이 반복적으로 수행되는 포괄적 탐색의 계산 비용을 해결한다고 주장합니다. LLM 의 계획 효율성과 $A^*$ 탐색의 정확성, 그리고 귀납적 추론의 적응성을 결합함으로써 FaSTA∗는 확장 가능하고 비용에 민감한 솔루션을 제공합니다.

이 논문은 이 접근법이 다양한 컨텍스트에 적용되는 일반화된 심볼릭 규칙을 학습함으로써 단순한 캐싱이나 암기 방식을 넘어선다고 강조합니다. 시스템은 효과적인 서브루틴 마이닝을 위한 충분한 경험을 축적하기 위해 "워밍업" 단계가 필요하지만, 결국 최적의 비용 - 품질 프론티어로 수렴합니다. 저자들은 FaSTA∗를 복잡하고 장기적인 작업을 효율적으로 처리할 수 있는 민첩하고 지속적으로 개선되는 AI 에이전트 개발을 위한 유망한 방향으로 제시합니다.