Texture Regenerating and Grafting Using Genome-Driven Neural Cellular Automata

기술 요약: 게놈 기반 신경 세포 자동자를 이용한 텍스처 재생 및 접목

문제 제기
텍스처 합성은 컴퓨터 그래픽스 분야에서 계산적으로 demanding 한 작업으로, 전통적으로 마르코프 무작위 필드, 웨이블릿 분해, 그리고 CNN, GAN, Transformer 와 같은 최신 딥러닝 모델과 같은 방법들로 해결되어 왔습니다. 이러한 생성 모델들은 높은 시각적 충실도를 달성하지만, 종종 상당한 계산 비용을 초래하며 특정 작업마다 별도의 아키텍처를 필요로 합니다. 더 나아가 텍스처 재생 (손상된 영역의 인페인팅) 과 텍스처 접목 (서로 다른 텍스처의 매끄러운 결합) 과 같은 전문화된 도메인은 아직 충분히 탐구되지 않았습니다. 기존 신경 세포 자동자 (NCA) 접근 방식은 효율적이지만, 일반적으로 각 텍스처마다 별도의 자동자를 훈련해야 하므로 매끄러운 보간을 방해하고 명시적 스티칭에 의존하는 경우가 많은 접목 작업을 복잡하게 만듭니다.

방법론
저자들은 [13] 에서 소개된 프레임워크를 기반으로 게놈 기반 NCA 의 확장을 제안합니다. 핵심 아키텍처는 각 셀이 $n$차원 벡터인 2D 그리드 위의 NCA 를 정의합니다. 처음 세 채널은 RGB 색상을 나타내고, 나머지 채널에는 '게놈' 채널과 숨겨진 채널이 포함됩니다. 게놈 채널은 목표 텍스처 인덱스의 이진 표현을 인코딩하여 단일 NCA 가 여러 개의 서로 다른 텍스처 ($n_g$개의 게놈 채널에 대해 $2^{n_g}$개의 텍스처) 를 생성할 수 있게 합니다.

방법론은 두 가지 주요 혁신을 도입합니다:

1. 재생 적응형 훈련: 다중 텍스처 환경에서 손상된 텍스처의 견고한 자가 재생을 가능하게 하기 위해, 저자들은 표준 풀링 훈련 전략을 수정합니다. 제안된 알고리즘 1 에서 훈련 풀은 모든 목표 텍스처의 시드 (seed) 로 초기화됩니다. 각 에포크 동안, 알고리즘은 특정 게놈의 최고 점수 (최저 손실) 상태를 시드 상태로 대체하여 열화를 방지합니다. 결정적으로, NCA 에게 손상 수리를 가르치기 위해 배치 내 두 개의 최저 점수 상태는 원형 영역 (반경 15–25 픽셀) 내에서 셀 상태를 무작위화하여 '손상'됩니다. 그런 다음 NCA 는 이 손상된 상태에서 원래 텍스처를 재구성하도록 진화합니다. 이 과정은 사전 훈련된 VGG 판별기와 Sliced Wasserstein Loss(SWL) 를 통해 손실을 계산하기 전에 여러 진화 단계에 걸쳐 반복됩니다.

2. 게놈 기반 접목: 논문은 재훈련 없이 추론 단계에서 작동하는 접목 기법을 소개합니다. 단일 NCA 그리드를 특정 공간 영역 (예: 좌우 반쪽 또는 동심원) 에 할당된 서로 다른 게놈 값으로 초기화함으로써, 여러 텍스처가 공존하고 상호작용하도록 강제합니다. 경계에서의 매끄러운 전환을 보장하기 위해 인터페이스에 있는 셀의 게놈 채널은 중간 값 (이진 게놈 코드 간 보간) 으로 초기화됩니다. 그런 다음 NCA 는 반복적으로 진화하여 텍스처들이 함께 자라나 통일되고 일관된 표면을 형성하도록 합니다.

주요 기여

• 견고한 다중 텍스처 재생: 이 연구는 적응형 풀링 전략으로 훈련된 단일 NCA 가 훈련 세트 내의 모든 텍스처에 대해 손상된 영역을 성공적으로 재생할 수 있음을 보여줍니다. 이는 NCA 의 자기 조직화 특성을 단순 합성을 넘어 동적 자가 수리로 확장합니다.
• 재훈련 없는 매끄러운 접목: 저자들은 추론 중에 서로 다른 텍스처를 새로운 패턴으로 결합하는 다목적 접목 기법을 제시합니다. 이는 NCA 셀의 초기 게놈 채널을 조작함으로써 달성되며, 전문화된 재훈련이나 복잡한 스티칭 알고리즘의 필요성을 제거합니다.
• 효율적인 패러다임: 이 접근법은 NCA 의 고유한 지역 패턴 생성 및 자기 조직화를 활용하여 대규모 생성 모델에 비해 계산적으로 가벼운 대안을 제공하면서도 복잡한 텍스처 구성을 처리할 수 있는 능력을 유지합니다.

결과

• 정량적 성능: 구조적 유사성 (SSIM), 학습된 지각적 이미지 패치 유사성 (LPIPS), 그리고 그람 행렬 거리 (GMD) 를 사용한 평가는 재생 적응형 NCA 가 [13] 의 기준 NCA 와 경쟁력 있는 성능을 보임을 보여주며, 재생을 위한 적응이 생성 품질을 저하시키지 않음을 나타냅니다.
• 재생 능력: 모델은 최대 25 픽셀의 손상 반경을 가진 텍스처를 성공적으로 재구성합니다. 전역 패턴은 복원되지만, 저자들은 미세한 디테일이 더 큰 손상 (35 픽셀 이상) 의 경우 대체 지역 구성으로 수렴하여 지각적 매끄러움에도 불구하고 지역적 지표 점수가 낮아질 수 있다고 지적합니다.
• 접목 결과: 실험은 2 개 및 3 개의 서로 다른 텍스처의 성공적인 결합을 보여줍니다. NCA 는 부드러운 그라데이션부터 명확한 장벽에 이르기까지 일관된 경계 전환을 생성합니다. 그러나 결과 또한 '게놈 경쟁'을 강조하는데, 이는 긴 진화 시간 동안 더 안정적인 텍스처가 덜 안정적인 것을 침범하여 경계 이동을 초래할 수 있음을 의미합니다. 이러한 불안정성은 텍스처 차원을 증가시킴으로써 완화됩니다.

의의 및 주장
이 논문은 견고한 자가 재생을 가능하게 하는 훈련 방법론과 재훈련 없이 매끄러운 텍스처 결합을 허용하는 접목 기법을 도입함으로써 다중 텍스처 합성을 크게 발전시켰다고 주장합니다. 저자들은 이를 자율 시스템에서의 동적 텍스처 구성 및 자가 수리를 위한 강력하고 효율적인 패러다임으로 위치시킵니다.

이 의의는 컴퓨터 그래픽스뿐만 아니라 자기 조직화 시스템을 탐구하는 더 넓은 분야 (물리학, 로봇공학, 생물학) 에서도 제시됩니다. 이 작업은 NCA 의 근본적인 특성을 강조하여 단일 경량 아키텍처가 다양한 텍스처를 처리하고 손상을 수리하며 복잡한 접목 작업을 수행할 수 있음을 보여줍니다. 저자들은 모델이 픽셀 단위 완벽한 재현이 아닌 스타일적 본질을 포착하며, 게놈 경쟁이 장기 시뮬레이션에서 불안정성을 초래할 수 있음을 겸손하게 인정합니다. 그들은 향후 작업이 충실도를 향상시키기 위한 계층적 아키텍처와 다중 클래스 자기 조직화 시스템의 안정성을 더 잘 이해하기 위한 경계 역학의 이론적 분석을 조사해야 한다고 제안합니다.