Words, Spaces and Generative AI: Layers of language in contemporary architecture

수 세기 동안 건축가들은 단어를 단순한 지시 사항, 즉 건축가에게 무엇을 건설할지 알려주는 수단으로 취급해 왔다. 그러나 언어가 그 자체로 하나의 건축 자재이며, 벽돌이나 강철만큼이나 설계에 필수적인 요소라는 생각이 확산되고 있다. 이 아이디어는 다음과 같은 간단한 관찰에 근거한다. 우리는 단어로 세상을 묘사할 뿐만 아니라, 단어를 사용하여 우리가 세상을 보는 방식을 형성한다는 것이다. 우리가 북적이는 동네를 "슬럼(slum)"이라고 부를 때, 우리는 그것을 제거해야 할 문제로 규정하는 것이며, "공동체(community)"라고 부를 때, 우리는 그것을 보존해야 할 대상으로 규정한다. 이러한 프레이밍은 어떤 해결책이 발견되기 전에 일어나며, 우리가 인지하지 못하는 방식으로 우리의 사고를 안내한다. 이제 텍스트를 이미지나 3D 모델로 변환하는 인공지능 도구가 건축 분야에서 흔해짐에 따라, 언어와 공간 사이의 이러한 관계는 매우 중요해졌다. 이 도구들은 단순히 명령을 따르는 것이 아니라, 인간이 말하는 모호하고 은유적인 방식을 해석하여 새로운 형태를 생성한다. 기계가 우리의 말을 어떻게 읽는지 이해하는 것은 더 이상 이론적인 연습이 아니다. 그것은 미래의 구축 환경이 어떻게 구상될지를 이해하는 열쇠이다.

안카-시모나 호르바스(Anca-Simona Horova)의 논문 "단어, 공간 그리고 생성형 AI(Words, Spaces and Generative AI)"는 건축가들이 이 강력한 새로운 도구들을 사용할 때 세 가지 뚜렷한 언어 층위가 어떻게 서로 얽히는지 조사함으로써 이 새로운 개척지를 탐구한다. 첫 번째 층위는 건축가들이 자신의 작업을 논의할 때 사용하는 특유의 전문 용어를 포함하여, 우리가 매일 말하고 쓰는 자연어이다. 두 번째 층위는 엄격한 논리에 기반한 인공 언어인 컴퓨터를 실행하는 프로그래밍 코드이다. 세 번째 층위는 이러한 AI 시스템을 학습시키는 데 사용된 수백만 개의 이미지에 붙여진 짧은 라벨과 설명인 주석(annotations)이다. 호르바스는 건축가가 "초록색 지붕이 있는 지속 가능한 도서관"과 같은 프롬프트를 입력할 때, AI가 단순히 정의를 찾아보는 것이 아니라고 주장한다. 대신, AI는 인간의 은유, 경직된 컴퓨터 코드, 그리고 학습 데이터의 편향된 범주들이 충돌하며 만들어내는 복잡한 그물망을 항해하여 결과를 도출한다.

이 과정이 어떻게 작동하는지 이해하기 위해, 이 논문은 우리가 언어를 어떻게 생각하는지에 대한 역사를 추적한다. 철학자 루트비히 비트겐슈타인이 의사소통은 정신적 이미지를 교환하는 것과 같으며, 우리가 단어를 사용하여 서로의 마음속에 이미지를 촉발한다고 제안했던 20세기 초로 거슬러 올라간다. 이후 조지 레이코프와 마크 존슨 같은 연구자들은 우리의 정신이 구체적인 경험을 사용하여 추상적인 개념을 이해하는 은유에 의해 구조화되어 있음을 보여주었다. 예를 들어, 우리는 시간을 "흐르거나" "날아가는" 것으로 이해하며, 시간을 강이나 새처럼 취급한다. 이러한 은유는 단순한 시적 수사가 아니라, 우리 사고의 구조 그 자체이다. 1970년대에 도시 계획가 도널드 숀은 이를 설계에 적용하여, 문제를 어떻게 프레이밍하느냐가 우리가 볼 수 있는 해결책을 결정한다고 주장했다. 만약 우리가 도시 블록을 "기계"로 본다면 효율성을 위해 설계할 것이고, "정원"으로 본다면 성장을 위해 설계할 것이다. 이러한 아이디어들은 인간이 설계와 상호작용하는 방식의 근간을 이루지만, 기계에게는 독특한 과제를 안겨준다.

그다음 논문은 텍스트-투-이미지(text-to-image) 및 텍스트-투-3D(text-to-3D) 도구가 작동하는 구체적인 메커니즘을 다룬다. 최근 연구에 따르면 이러한 시스템은 텍스트 설명을 바탕으로 건축 평면도, 교량 구조물, 심지어 토착 주거 양식까지 생성할 수 있다. 그러나 결과물은 종종 인간의 의도와 기계의 출력물 사이의 간극을 드러낸다. 예를 들어, 연구자들이 AI에게 터키, 일본, 멕시코의 전통 가옥을 생성하도록 요청했을 때, 모델들은 시각적 스타일(지붕의 모양이나 창문의 배치 등)은 성공적으로 모방했지만, 그 형태 뒤에 숨겨진 깊은 문화적 논리와 사회적 의미는 놓치는 경우가 많았다. AI는 시각적으로는 그럴듯하지만 의미론적으로는 빈약한 이미지를 생성했으며, 인간 건축가가 이해할 법한 풍부한 맥락이 결여되어 있었다. 또 다른 연구에서는 건축가들이 구조화된 방법 없이 이러한 도구를 사용할 경우, 출력물이 건물처럼 보이지만 기능적으로는 아무런 의미가 없는 무작위 형상들의 집합에 불과하다는 것을 발견했다. 연구자들은 더 나은 결과를 얻기 위해서 건축가들이 프롬프팅을 단순한 명령이 아니라, 기계의 숨겨진 규칙을 이해해야 하는 정교한 소통 행위로 다루어야 한다고 제안한다.

논문의 상당 부분은 언어의 숨겨진 층위인 주석에 초점을 맞춘다. 이미지 생성 AI를 학습시키는 데 사용되는 가장 유명한 데이터셋인 이미지넷(ImageNet)은 2만 개 이상의 카테고리로 분류된 1,400만 개 이상의 이미지를 포함하고 있다. 이러한 카테고리들은 무작위로 선택된 것이 아니라, 개념을 계층적으로 조직하는 워드넷(WordNet)이라는 단어 사전에 기초하였다. 이는 AI가 우리의 편향과 가정을 포함하는 특정하고 인간이 만든 렌즈를 통해 세상을 보도록 학습되었음을 의미한다. 논문은 이 데이터셋이 사람들을 정신과적 진단명이나 비속어로 분류하는 등 모욕적인 방식으로 분류했음을 강조한다. AI가 "가족"이나 "전문가"의 이미지를 생성할 때, 그것은 이러한 결함이 있는 범주를 끌어다 쓰는 것이다. 기계는 가족이 무엇인지 알지 못한다. 단지 "가족"이라는 단어가 자신의 학습 데이터 속 특정 이미지들과 통계적으로 어떻게 연결되어 있는지를 알 뿐이다. 이는 AI가 중립적인 관찰자가 아니라, 인간이 지식을 조직해 온 특정한, 종종 편향된 방식을 반영하는 거울임을 보여준다.

저자는 건축이 이러한 도구들과 함께 앞으로 나아가기 위해서는 언어를 설계 재료로서 진지하게 받아들여야 한다고 결론짓는다. 이는 프롬프트가 단순한 지시 사항이라는 생각을 넘어선다. 대신, 건축가들은 기계의 "체현(embodiment)", 즉 기계가 인간의 뇌와는 다르게 정보를 처리한다는 사실을 이해해야 한다. 인간은 몸과 감각을 통해 세상을 경험하지만, AI 시스템은 데이터와 패턴을 통해 세상을 경험한다. 논문은 향-후 연구가 서로 다른 언어와 문화가 어떻게 설계 사고를 형성하는지, 그리고 이러한 차이점들이 기계 코드로 번역될 때 어떻게 소실되거나 왜곡될 수 있는지 밀접하게 살펴봐야 한다고 제안한다. 또한 컴퓨터 과학의 정밀함과 인간 의사소통의 미묘함을 결합하는 새로운 접근법을 촉구한다. 단어가 우리의 정신적 이미지를 어떻게 형성하는지, 그리고 그 이미지가 어떻게 코드로 번역되는지를 연구함으로써, 건축가들은 생성형 AI의 잠재력을 온전히 활용하여 미래의 건축물이 단순히 시각적으로 눈길을 끄는 것을 넘어, 깊은 의미와 문화적 공명을 담을 수 있도록 할 수 있다.