🤖 AI

Vector-Bench: Can Models Surgically Edit SVG Code?

이 논문은 지시 기반 벡터 편집을 평가하기 위해 설계된 40개의 SVG 복구 작업으로 구성된 엄격한 벤치마크인 Vector-Bench를 소개하며, 가장 강력한 모델들조차 요청되지 않은 요소를 변경하지 않고 요청된 변경 사항만을 정밀하게 적용하는 데 어려움을 겪어 전체 사양 성공률이 15.0%에 불과하다는 점을 밝혀냈다.

원저자: Yug Aditi Gupta, Prannay Hebbar

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yug Aditi Gupta, Prannay Hebbar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 디지털 아티스트가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 코드(물감 대신 명령어로 만들어진 디지털 그림)로 된 사진 한 장을 주며 이렇게 말합니다. "이 그림 속의 태양이 너무 커. 태양을 줄여줘, 하지만 구름이나 산은 건드리지 마." 이것이 바로 벡터 그래픽의 세계입니다. 격자 형태의 색 점들로 이루어진 일반적인 사진과 달리, 벡터 이미지는 살아있는 프로그램입니다. 그것은 컴퓨터에게 선, 도형, 색상을 어떻게 그릴지 알려주는 명령의 목록입니다. 코드이기 때문에, 만약 로봇이 엉뚱한 선을 수정하면 단순히 그림이 이상해지는 것에 그치지 않고, 파일 전체를 망가뜨려 나중에 파일을 열거나 편집하는 것 자체를 불가능하게 만들 수도 있습니다.

과학자들이 던지는 핵심 질문은 이것입니다. 과연 이 똑똑한 AI 모델들이 나머지 부분을 망가뜨리지 않고 특정 부분의 코드를 수정하라는 지시를 실제로 따를 수 있을까? 이는 마치 요리사에게 국의 온도나 냄비, 혹은 옆에 놓인 빵의 레시피는 바꾸지 않으면서 국에 들어간 소금만 교체하라고 요청하는 것과 같습니다. 만약 AI가 국의 맛은 맞췄지만 빵을 태워버린다면, 설령 국의 모양이 좋아 보이더라도 그것은 실패입니다. 이것이 바로 **지시 기반 편집(instruction-based editing)**의 과제입니다. 즉, 보이지 않는 코드의 구조를 완벽하게 유지하면서, 당신이 요청한 것만, 정확히 요청한 대로 수행하는 것입니다.

여기에 AI 모델이 정말로 정교한 편집가 역할을 할 수 있는지 테스트하기 위해 설계된 새롭고 까다로운 시험인 Vector-Bench가 등장했습니다. 연구진은 SVG 이미지가 '손상된' 40가지의 특정한 퍼즐을 만들었습니다. 예를 들어 기차 문이 엉뚱한 곳에 떠 있거나, 해파리가 촉수를 잃어버린 경우 같은 상황입니다. 그들은 AI 모델에게 "황색 신호가 꺼졌습니다. 신호를 고치되 역은 그대로 두세요"와 같은 간단한 인간 언어 지시를 주었습니다. 모델들은 신호를 고치는 동시에 기차를 움직이거나, 역 승강장을 삭제하거나, 파일 형식을 깨뜨리지 않고 코드를 다시 작성해야 했습니다.

결과는 일종의 현실 자각 타임이었습니다. 연구진은 저렴하고 작은 모델부터 가장 강력한 '프런티어' 모델에 이르기까지 34개의 서로 다른 AI 모델을 테스트했습니다. 가장 뛰어난 성능을 보인 모델인 Claude Sonnet 5조차 오류를 수정하고, 나머지를 안전하게 유지하며, 유효한 파일을 생성하는 이 전체 작업을 완벽하게 수행한 비율은 단 **15.0%**였습니다. 그렇습니다. 가장 똑똑한 AI조차 10번 중 8번 이상의 시도에서 전체 지시를 따르는 데 실패했습니다.

하지만 이야기는 실패에 대해서만 있는 것이 아닙니다. 연구진은 모델들이 '수정하는' 부분에서는 실제로 꽤 괜찮았다는 사실을 발견했습니다. 평균적으로 모델들은 요청된 수리를 통해 눈에 보이는 진전을 약 **43.7%**의 확률로 보여주었습니다. 모델들은 종종 신호를 더 밝게 만들거나 문을 더 가까이 옮길 수 있었습니다. 하지만 그들은 '나머지는 그대로 두라'는 부분에서 형편없었습니다. 모델들은 자주 건드려서는 안 될 것들의 이름을 바꾸거나, 관련 없는 물체를 이동시키거나, 코드 구조를 깨뜨려 파일이 유효하지 않게 만들었습니다.

이 연구는 "보기 좋은 것"이 "올바르게 작동하는 것"과 같지 않다는 점을 명시적으로 배제합니다. 모델이 인간의 눈에 보기 좋게 수정된 이미지를 만들어낼 수는 있지만, 밑바탕이 되는 코드가 재작성되었거나 손상되었다면 그것은 실패입니다. 연구진은 단순히 그림을 보는 것이 아니라 코드 자체를 검사하는 엄격한 컴퓨터 판정관을 사용하여 이를 증명했습니다. 그들은 모델들이 어느 정도 수리는 할 수 있지만, 부수적인 피해 없이 정교하게 코드를 편집하는 능력은 여전히 큰 장벽이라는 것을 발견했습니다.

요약하자면, 이 논문은 AI가 그림을 그리고 고치는 데는 점점 나아지고 있지만, 그 그림을 작동하게 만드는 코드를 정교하고 조심스럽게 편집하는 데는 여전히 어려움을 겪고 있다는 점을 시사합니다. "변화를 주는 것"과 "다른 것을 망가뜨리지 않고 올바른 변화를 주는 것" 사이의 간극은 여전히 넓습니다. 저자들은 자신들의 모든 데이터, 코드, 결과를 공개하며, 가장 비싸고 강력한 모델들조차 현재로서는 정밀한 외과의사가 되기보다는 문제를 해결하려다 실수로 책장을 넘어뜨리는 열정적인 인턴에 가깝다는 것을 보여주었습니다.

기술 요약: Vector-Bench

문제 정의
지시 기반의 벡터 편집(Instruction-based vector editing)은 모델이 주변의 모든 코드 구조를 보존하면서도 특정 변경 사항을 실행할 것을 요구한다. 래스터 이미지 생성 메트릭은 종종 최종적인 시각적 외관을 기준으로 성공 여부를 판단하지만, 이러한 접근 방식은 구조화된 벡터 그래픽(SVG)에는 불충분하다. SVG에서는 요소의 이름 변경, 패스 데이터 재작성, 관련 없는 객체의 이동 또는 메타데이터 삭제와 같은 "미용적(cosmetic)" 차이가 실행 가능한 아티팩트의 의미론(semantics)을 변화시킨다. 현재의 벤치마크들은 요청된 수정을 성공적으로 수행한 모델과 의도치 않게 기저의 프로그램 구조를 손상시킨 모델을 구분하는 데 실패하는 경우가 많다. 핵심 과제는 요청된 수정을 검증하고, 요청되지 않은 요소의 의미론적 보존을 강제하며, 출력이 유효하고 사용 가능한 SVG임을 동시에 보장하는 보상 신호(reward signal)를 정의하는 것이다.

방법론: Vector-Bench
저자들은 40개의 SVG 수정 작업으로 구성된 작고 밀도 높은 벤치마크인 Vector-Bench를 소개한다. 이 벤치마크는 다음과 같은 구성 요소를 통해 "외과적(surgical)" 편집 능력을 테스트하도록 설계되었다:

태스크 구조: 각 태스크 $\tau$ 는 손상된 SVG ( $S_0$ )와 저자가 작성한 자연어 지시문 ( $x$ )을 쌍으로 묶는다. 지시문은 DOM 식별자, 좌표, 색상 코드 또는 패스 데이터를 노출하지 않고 시각적 결함(예: "황색 신호가 어두워졌다")을 설명한다. 정답(ground truth)은 숨겨진 타겟 SVG ( $S^*$ )이다.
주석(Annotations): 데이터셋은 40개 태스크에 걸쳐 202개의 주석이 달린 수정본(태스크당 평균 5.05개)을 포함하며, 변경되지 않고 유지되어야 하는 "보호된 객체(protected objects)" 세트(태스크당 평균 60.55개)를 정의한다.
실행 가능한 평가: 저자들은 세 가지 게이트 시스템을 기반으로 결정론적인 이진 명세 보상( $R_{spec}$ $R_{s p ec}$ )을 제안한다:
1. 유효성 게이트(Validity Gate): 출력물은 참조를 해결할 수 있는 잘 형성된 유효한 SVG여야 한다.
2. 요청된 편집 게이트(Requested Edit Gate): 각 요청된 편집 $e$ 에 대해, 속성을 인식하는 서술어(predicate)가 타겟과 출력을 비교 검사한다. 이는 정확한 문자열 매칭 대신 지각적 허용 오차(예: 색상을 위한 CIE Lab $\Delta E_{76}$ , 좌표를 위한 RMS, 패스 샘플링)를 사용하여, 동일한 시각적 결과를 생성하는 동등한 SVG 명령을 허용한다.
3. 보존 게이트(Preservation Gate): 편집 위치에 의해 마스킹된 문서의 요청되지 않은 부분은 의미론적으로 변하지 않아야 한다. 이는 구조적 무결성, 요소 순서, 그리고 보호된 객체에 대한 의도하지 않은 수정의 부재를 확인한다.
진단 메트릭: 이진 통과/실패를 넘어, 프레임워크는 "수정 진행도(Repair Progress)"(허용 오차 내에서 출력이 타겟에 얼마나 근접했는지)와 "의도하지 않은 변경률(Unintended Change Rate, UCR)"(부수적 피해를 정량화하기 위함)를 추적한다.

핵심 기여

고정된 코퍼스(A Frozen Corpus): 명시적인 의도된 편집과 광범위한 보존 영역을 가진, 저자가 기술한 40개의 밀도 높은 SVG 수정 태스크 세트. 여기서 지시문은 오로지 시각적 묘사에만 의존한다.
투명한 평가기(A Transparent Evaluator): 학습된 판사나 모델 기반의 채점기를 피하고, 허용 오차를 가진 편집 검사와 엄격한 의미론적 보존 및 유효성 게이트를 결합한 실행 가능한 평가 프로토콜.
포괄적인 평가: 34개의 모델 엔드포인트(25개의 오픈 웨이트 모델, 5개의 저렴한 제어 모델, 4개의 프런티어 폐쇄형 모델)에 대해 1,360개의 요청을 대상으로 한 재현 가능한 연구를 수행하고, 모든 프롬프트, 출력, 점수 산정 코드 및 비용을 공개한다.
경험적 격차 분석: 가시적인 수정을 완료하는 것과 전체 벡터 프로그램 구조를 보존하는 것 사이의 괴리에 대한 상세한 기록.

결과
34개 모델에 대한 평가 결과, 시각적 수정 능력과 명세 충실도(specification-faithful) 편집 사이의 상당한 격차가 드러났다:

낮은 완전 성공률: 가장 강력한 엔드포인트인 Claude Sonnet 5조차 전체 명세 성공(세 가지 게이트를 모두 만족)률이 **15.0%**에 불과했다. 1,360개의 결과 전체에서 모든 게이트를 통과한 경우는 2.35%뿐이었다.
높은 부분적 진전: 낮은 완전 성공률에도 불구하고, 최우수 모델은 **43.7%**의 평균 수정 진행도를 달행했는데, 이는 모델들이 요청된 시각적 변경은 수행하지만 보존이나 유효성 측면에서 실패함을 나타낸다.
유효성 및 보존 문제: 많은 모델이 유효하지 않은 SVG를 생성하거나 의도하지 않은 변경을 도입했다. 최상위 모델의 경우, SVG 유효성은 62.5%였으며, 유효한 출력의 의도하지 않은 변경률(UCR)은 0.8%였다.
실패 모드: 대부분의 실패는 타겟 객체를 편집하는 능력 자체의 결여보다는, 불완전하거나 사용할 수 없는 출력(예: 잘림, 유효하지 않은 XML) 또는 보호된 객체에 대한 부수적 변경으로 인해 발생했다.
비용 대비 성능: 연구 결과 모델 비용과 성능 사이의 직접적인 상관관계는 발견되지 않았다. 값비싼 프런티어 모델들이 전체 명세 성공 측면에서 더 작거나 저렴한 대안 모델들을 일관되게 능가하지 못했다.

의의
본 논문은 Vector-Bench가 현재의 대규모 언어 모델(LLM)이 가진 결정적인 한계, 즉 주변 컨텍스트의 무결성을 해치지 않으면서 구조화된 코드에 대해 국소적 편집을 수행하는 능력이 부족하다는 점을 폭로한다고 주장한다. 결과는 "겉보기의 수정 진전"(시각적 결함 수정)과 "명세 충실적 편집"(결함을 수정하면서도 나머지 프로그램을 그대로 두는 것)이 실질적으로 다른 능력임을 입증한다. 이 벤치마크는 래스터 기반의 시각적 유사성을 넘어 벡터 편집을 평가하기 위한 엄격하고 결정론적인 표준을 제공하며, 모델이 실행 가능한 아티팩트의 의미론적 구조를 더 잘 이해하고 보존해야 할 필요성을 강조한다. 저자들은 자신들의 발견이 중간 정도의 허용 오차 변화에도 안정적임을 강조하며, 이는 어려움이 엄격한 평가 기준의 결과물이 아니라 과제 자체에 내재되어 있음을 시사한다.

유사한 논문