Patch-Based Spatial Authorship Attribution in Human-Robot Collaborative Paintings

이 논문은 인간과 로봇이 협업하여 제작한 추상화에서 각 창작자의 기여도를 식별하기 위해 패치 기반 공간적 저자성 귀속 프레임워크를 제안하고, 이를 통해 88.8% 의 높은 정확도로 인간과 로봇의 창작 영역을 구분하고 혼합된 저자성을 정량화하는 방법을 제시합니다.

핵심

이 논문은 **"누가 이 그림을 그렸을까?"**라는 오래된 질문에, **"인간과 로봇이 함께 그린 그림의 어느 부분이 인간이고, 어느 부분이 로봇일까?"**라는 새로운 질문을 던지며 답을 제시합니다.

간단히 말해, 인간 화가와 로봇이 같은 캔버스에 함께 그림을 그렸을 때, 컴퓨터가 그 그림을 조각조각 잘라내어 "이 부분은 인간이, 저 부분은 로봇이 그렸다"고 찾아내는 기술을 개발했다는 이야기입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 1. 배경: 왜 이런 연구가 필요할까요?

과거에는 그림 한 장을 보고 "이건 피카소가 그렸구나"라고 전문가가 눈으로 판단했습니다. 하지만 이제 로봇도 붓을 들고 그림을 그립니다. 로봇이 그린 그림은 사람과 너무 비슷해서 구별하기 어렵습니다.

더욱이, 인간과 로봇이 같은 캔버스에 서로 번갈아 가며 그림을 그리는 '협업' 작품이 늘어나고 있습니다. 이때는 "누가 그렸나?"라고 묻는 것보다 **"이 부분은 누가, 저 부분은 누가 그렸나?"**를 찾아내는 것이 훨씬 중요합니다. 마치 한 사람이 쓴 편지 속에 친구가 끼어 쓴 문장이 섞여 있을 때, 누가 어떤 문장을 썼는지 찾아내는 것과 비슷합니다.

🔍 2. 방법론: "마치 퍼즐 조각처럼 잘라내다"

연구자들은 거대한 그림을 한 장으로 보지 않고, **300x300 픽셀짜리 작은 사각형 조각 (패치)**으로 잘라냈습니다.

• 비유: 거대한 벽화를 보지 않고, 벽돌 하나하나를 떼어내어 "이 벽돌은 인간이 쌓았는지, 로봇이 쌓았는지"를 판단하는 것과 같습니다.
• 기술: 컴퓨터 (AI) 는 이 작은 조각들을 수만 개씩 학습시켜, **인간의 붓질 (붓의 움직임, 질감)**과 로봇의 붓질이 미세하게 어떻게 다른지 기억하게 합니다.

📊 3. 결과: 얼마나 잘해냈을까요?

연구진은 인간 화가 1 명과 로봇 1 대가 그린 15 점의 그림을 실험했습니다.

• 성공률: 컴퓨터는 그림 조각을 보고 약 89% 의 확률로 "이건 인간이 그렸어", "이건 로봇이 그렸어"라고 정확히 맞췄습니다.
• 비교: 기존의 다른 기술들 (단순 질감 분석이나 다른 AI 모델) 은 68~84% 정도의 정확도였는데, 이 새로운 방법이 그보다 훨씬 뛰어났습니다.
• 핵심: 이 기술은 그림이 아주 적게 있어도 (데이터가 부족해도) 잘 작동하도록 설계되었습니다. 마치 소수의 샘플로도 전문가의 눈처럼 훈련할 수 있는 셈입니다.

🤔 4. 가장 흥미로운 발견: "혼란스러울 때"가 바로 협업의 증거

가장 재미있는 부분은 **인간과 로봇이 섞여 그린 그림 (하이브리드 그림)**을 분석했을 때의 발견입니다.

• 상황: 인간과 로봇이 같은 자리에 붓질을 겹쳐서 그렸다면, AI 는 "이게 인간일까? 로봇일까?"라고 고민하게 됩니다.
• 발견: AI 는 이럴 때 **불확실성 (Entropy)**이 높아집니다. 마치 "음... 이 부분은 두 사람 모두의 특징이 섞여 있어서 딱 잘라 말하기 어렵네"라고 머리를 긁적이는 것과 같습니다.
• 결과: 순수하게 인간만 그린 그림이나 로봇만 그린 그림에 비해, 혼합된 그림 부분에서 AI 의 '혼란스러움'이 64% 더 높게 나타났습니다.
• 의미: 이는 AI 가 실수를 한 것이 아니라, 오히려 "여기서 인간과 로봇의 손길이 섞였구나"를 감지해낸 것입니다. 불확실성이 높을수록 그곳이 협업의 흔적이란 뜻이 됩니다.

🛠️ 5. 장비: 고가의 장비가 필요 없어요

이 연구는 특수한 과학 장비나 고가의 카메라가 필요하지 않습니다. 일반적인 사무용 스캐너로 그림을 스캔하기만 하면 됩니다. 이는 박물관이나 갤러리, 혹은 일반 예술가들도 쉽게 이 기술을 적용할 수 있음을 의미합니다.

💡 요약 및 미래

이 논문은 **"작은 조각 (패치) 을 분석해서, 인간과 로봇이 함께 만든 예술 작품의 저작권 (누가 어디를 그렸는지) 을 찾아내는 새로운 방법"**을 제시했습니다.

• 현재: 한 명의 화가와 한 대의 로봇으로 실험을 성공했습니다.
• 미래: 이 기술은 앞으로 다양한 예술가들과 로봇이 함께 작업할 때, 누가 어떤 부분을 기여했는지 객관적으로 증명하는 데 쓰일 수 있습니다. 이는 예술 시장의 가치 평가나 저작권 분쟁 해결에 큰 도움을 줄 수 있습니다.

결론적으로, 이 기술은 **"AI 가 예술의 저작권을 대신 결정한다"는 것이 아니라, "전문가들이 저작권을 판단할 때 도움을 줄 수 있는 강력한 증거 (디지털 지문)"**를 만들어낸 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 생성형 AI 와 로봇 시스템이 예술 창작에 활발히 참여함에 따라, 인간과 기계가 함께 작업한 협업 예술작품의 '저자성 (Authorship)'을 규명하는 것이 예술 시장, 수집가, 법적 맥락에서 중요해졌습니다.
• 핵심 과제: 기존의 저작권 법리와 자동화 검증 시스템은 단일 저자 (Single Authorship) 를 가정합니다. 그러나 인간과 로봇이 동일한 캔버스에 동시에 기여하는 협업 작품에서는 저자성이 공간적으로 변이 (Spatially Varying) 합니다. 즉, "누가 이 작품을 만들었는가?"라는 질문에서 **"어디에, 어떻게 기여가 다른가?"**라는 공간적 귀속 문제로 패러다임이 전환되어야 합니다.
• 제약 조건:
  • 현대 예술가나 로봇 시스템은 대규모 데이터셋을 보유하지 않아 데이터 부족 (Data-scarce) 상황입니다.
  • 기존 과학적 이미징 기법 (3D 표면 분석, X-ray 등) 은 특수 장비가 필요하여 접근성이 낮습니다.
  • 기존 딥러닝 기반 저자 분석은 대규모 학습 데이터와 단일 저자 가정을 전제로 합니다.

2. 방법론 (Methodology)

저자들은 소규모 데이터셋과 상용 스캐너로도 작동 가능한 패치 기반 (Patch-based) 공간 저자 귀속 프레임워크를 제안했습니다.

• 데이터셋 구성:
  • 총 15 점의 물리적 회화 작품 (7 점: 인간 작가, 8 점: 로봇 시스템, 5 점: 인간 - 로봇 협업).
  • 동일한 캔버스, 아크릴 물감, 브러시 재료를 사용하며, 1200 DPI 해상도의 상용 플랫베드 스캐너로 디지털화했습니다.
  • 로봇 시스템은 CoFRIDA 프레임워크 (6-DOF 로봇 팔) 를 사용했습니다.
• 패치 추출 및 전처리:
  • 고해상도 스캔 이미지를 300x300 픽셀 크기의 패치로 분할 (50% 오버랩). 총 136,977 개의 패치 생성.
  • 레이블: 빈 캔버스 (Blank), 인간 (Human), 로봇 (Robot).
• 모델 아키텍처:
  • PigeoNET 에서 적응된 VGG 스타일의 경량 합성곱 신경망 (CNN) 사용.
  • 5 개의 합성곱 블록 (32~512 필터) 과 풀링, 드롭아웃, 완전 연결 계층으로 구성.
  • 이유: 대규모 사전 학습 모델 (Pretrained models) 대신 경량 모델을 선택한 이유는 데이터가 부족하여 과적합 (Overfitting) 위험이 크고, 특정 인간 - 로봇 쌍의 미세한 브러시 스트로크 특징을 학습하는 데 더 효과적이기 때문입니다.
• 학습 전략:
  • Leave-One-Painting-Out Cross-Validation (LOPO-CV): 한 편의 작품을 완전히 홀드아웃 (Hold-out) 하고 나머지로 학습하여 일반화 성능을 평가. 이는 패치 단위가 아닌 '작품 단위'로 검증이 이루어지도록 하여 데이터 누출을 방지합니다.
  • 클래스 불균형 처리: 가중치 교차 엔트로피 손실 함수 (Weighted Cross-Entropy Loss) 를 사용하여 인간 패치 (다수) 와 로봇/빈 패치 (소수) 간의 불균형을 보정.

3. 주요 기여 (Key Contributions)

1. 데이터 부족 환경에서의 공간적 저자 귀속: 대규모 데이터셋 없이도 상용 스캐너와 소규모 컬렉션 (15 점) 으로 인간과 로봇의 스타일을 구분하는 패치 기반 프레임워크를 입증했습니다.
2. 협업 작품의 불확실성 정량화: 협업 영역 (Hybrid regions) 에서는 정답 (Ground Truth) 이 모호하므로, **조건부 섀넌 엔트로피 (Conditional Shannon Entropy)**를 도입하여 모델의 예측 불확실성을 저자 혼재 (Mixed Authorship) 의 지표로 활용했습니다.
3. 방법론적 기반 마련: 특정 인간 - 로봇 쌍에 맞춰 훈련되지만, 데이터가 부족한 인간-AI 협업 워크플로우에 적용 가능한 방법론적 토대를 제공했습니다.

4. 실험 결과 (Results)

A. 순수 작품 (Pure Paintings) 분류 성능

• 패치 단위 정확도: 88.8% (LOPO-CV 기준).
• 작품 단위 정확도: 다수결 투표 (Majority Vote) 를 통해 86.7% 달성.
• 기반선 (Baseline) 비교:
  • LBP + Random Forest: 65.92%
  • ResNet-50 + SVM: 81.96%
  • DINOv2 + SVM: 84.70%
  • 제안 모델 (CNN): 88.79%
  • 의미: 사전 학습된 대규모 모델이나 전통적인 텍스처 기반 방법보다 우수한 성능을 보이며, 학습된 패치 기반 특징이 인간과 로봇의 미세한 브러시 스트로크 차이를 포착함을 입증했습니다.

B. 협업 작품 (Hybrid Paintings) 분석

• 엔트로피 분석: 순수 작품 (인간 또는 로봇만) 과 협업 작품의 패치 예측 엔트로피를 비교했습니다.
  • 협업 영역의 패치는 순수 작품 패치보다 **64% 더 높은 불확실성 (엔트로피)**을 보였습니다 (p=0.003).
  • 이는 모델이 분류 실패를 한 것이 아니라, 인간과 로봇의 스타일이 섞인 영역을 감지하여 높은 불확실성을 나타낸 것임을 의미합니다.
• 통계적 유의성: 인간과 로봇만의 순수 작품 간에는 엔트로피 분포에 유의미한 차이가 없었으나, 협업 작품은 명확하게 높은 엔트로피를 보여 저자 혼재 영역을 효과적으로 식별했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 고가의 전문 장비 없이 상용 스캐너와 소규모 데이터로도 현대적인 협업 예술의 저자성을 분석할 수 있는 접근 가능성을 열었습니다.
• 법적/예술적 함의: "누가 만들었는가"를 넘어 "어디에 누가 기여했는가"를 시각적으로 증명할 수 있는 도구로, 예술 시장의 가치 평가와 저작권 분쟁 해결에 기여할 수 있습니다.
• 향후 과제: 다양한 인간 작가와 로봇 시스템으로의 확장, 교차 시스템 전이 학습, 그리고 브러시 스트로크 순서나 로봇 운동 궤적과 같은 시간적/과정적 정보의 통합이 필요하다고 제언했습니다.

이 논문은 데이터가 부족한 현대 예술 협업 환경에서, 기계 학습을 통해 공간적 저자성을 정량적으로 분석하고 불확실성을 유용한 신호로 활용하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.