The Substrate Collapse: AI Code Generation Invalidates Authorship-Based Knowledge Metrics

핵심 아이디어: 지도는 더 이상 영토가 아니다

당신이 거대하고 오래된 도시의 지형을 누가 알고 있는지 파악하려고 노력하고 있다고 상상해 보세요. 수십 년 동안 그 도시의 길을 누가 알고 있는지 추측하는 유일한 방법은 누가 건물을 지었는지를 보는 것이었습니다. 만약 특정 사람이 지은 집을 보았다면, 당신은 "좋아, 저 사람은 저 집의 배선이 어떻게 되어 있는지, 파이프가 어디로 지나가는지, 레버를 당기면 어떤 일이 벌어지는지 알고 있겠군"이라고 가정했습니다.

이 논문은 AI가 그 규칙을 깨뜨렸다고 주장합니다.

이제 로봇이 집을 지을 수 있고, 인간은 그저 서류에 서명하여 승인만 할 수 있습니다. 인간의 이름은 여전히 등기부(즉, "저자성/Authorship")에 남아 있겠지만, 그들은 그 집이 어떻게 작동하는지에 대해 단 하나도 모를 수 있습니다. 논문은 이를 **"기질 붕괴(Substrate Collapse)"**라고 부릅니다. 토대(건축과 이해 사이의 연결고리)가 무너졌으며, 이로 인해 우리의 오래된 측정 도구들은 쓸모없게 되었습니다.

---

1. 과거의 방식: "화석" 이론

과거에 소프트웨어 엔지니어들은 **"트럭 요인(Truck Factor)"**과 같은 지표를 사용했습니다. 이는 다음과 같이 묻습니다: "만약 우리 팀의 리드 개발자가 내일 트럭에 치인다면, 이 프로젝트는 망하게 될까?"

이를 계산하기 위해 그들은 코드 속의 "화석"을 살펴보았습니다:

• 누가 코드 라인을 작성했는가?
• 누가 파일을 편집했는가?
• 누가 변경 사항을 커밋(commit)했는가?

논리: 코드를 작성했다면, 그것을 쓰기 위해 반드시 이해해야만 했습니다. 따라서 코드에 남겨진 당신의 이름이라는 "발자국"은 당신이 시스템을 이해하고 있다는 신뢰할 수 있는 징표였습니다. 그것은 마치 화석을 찾는 것과 같았습니다. 암석(코드)이 존재함으로써 그 안에 있었던 생물(이해력)을 증명하는 것이었습니다.

2. 붕괴: 로봇 건축가

이제 AI 도구(에이전트)가 코드를 작성합니다. 인간 개발자는 AI에게 "로그인 시스템을 만들어줘"라고 요청할 수 있고, AI는 몇 초 만에 이를 수행합니다. 인간은 결과물을 보고, 아마도 "승인"을 클릭한 뒤 병합(merge)합니다.

문제점:

• 인간의 이름이 이제 코드에 남아 있습니다 (발자국).
• 하지만 인간은 그것을 직접 쓰지 않았으므로, 일을 완수하기 위해 반드시 이해할 필요가 없었습니다.
• AI는 코드를 썼지만, AI는 나중에 인간이 설명할 수 있는 방식으로 그것을 "이해"하지 못합니다.

비유:
온도계를 상상해 보세요. 수년 동안 온도계가 100°F를 가리키면, 당신은 그 사람이 열이 난다는 것을 알 수 있었습니다. 그것이 규칙이었습니다.
이제 누군가 환자가 실제로 아프지 않은데도 온도계를 100°F로 데울 수 있는 기계를 발명했다고 상상해 보세요.

• 온도계는 여전히 완벽하게 100°F를 가리킵니다.
• 하지만 그것은 더 이상 사람이 아픈지 알려주지 않습니다.
• 도구가 고장 난 것이 아니라, 측정값과 실제 현실 사이의 연결이 끊어진 것입니다.

논문은 우리의 "트럭 요인"이 바로 이 고장 난 온도계라고 말합니다. 그것은 여전히 숫자를 제공하지만, 그 숫자는 더 이상 누가 소프트웨어를 실제로 이해하고 있는지를 알려주지 않습니다.

3. 왜 기존 도구를 단순히 "수정"할 수 없는가?

당신은 이렇게 생각할 수도 있습니다. "수식을 조금 조정하면 되지 않을까? AI가 쓴 코드라면 가중치를 다르게 부여하면 되지 않을까?"

논문은 아니오라고 답합니다. 가중치를 조절한다고 해결될 문제가 아닙니다.

• 비유: 양동이에 물이 얼마나 들어있는지 무게를 재서 맞추려고 한다고 상상해 보세요. 만약 누군가 몰래 물을 모래로 바꿨다면, 무게는 변하겠지만 그 무게가 갖는 의미는 사라집니다. 당신은 저울을 다시 교정한다고 해서 물이 얼마나 남았는지 알아낼 수 없습니다. 왜냐하면 양동이는 이미 모래로 가득 차 있기 때문입니다.
• "누가 코드를 건드렸는가"와 "누가 코드를 이해하는가" 사이의 연결은 영원히 사라졌습니다. 기존 데이터에 어떤 수학적 처리를 해도 그것을 되돌릴 수 없습니다.

4. 경고 신호 (스트레인/긴장 상태)

논문은 소프트웨어 세계가 정확히 왜 그런지는 모르더라도, 이미 무언가 잘못되고 있다는 징후를 보이고 있다고 지적합니다.

• "가짜 자신감"의 격차: 개발자들은 AI와 함께할 때 더 빠르고 생산적이라고 느끼지만, 연구에 따르면 그들은 AI의 작업이 옳은지 확인하는 데 모든 시간을 보내느라 실제로는 더 느려집니다.
• "변동성(Churn)"의 혼란: 코드가 더 많이 작성되고 삭제되는 것을 보게 되지만, 이것이 사람들이 버그를 수정하고 있기 때문인지(좋은 것), 아니면 AI가 실수를 저질러 계속 재작업을 해야 하기 때문인지(나쁜 것) 구분할 수 없습니다. 도구들은 더 이상 그 차이를 구별하지 못합니다.
• 표면 vs 심층: AI는 표면적인 오타를 고치는 데(스펠링 체크처럼) 뛰어나지만, 인간이 시스템을 진정으로 이해해야만 고칠 수 있는 깊은 논리적 오류를 자주 만들어냅니다.

5. 우리가 대신 필요한 것: "발자국"이 아닌 "이론"을 측정하기

논문은 코드를 누가 썼는지를 보는 것을 멈추고, 누가 실제로 시스템을 이해하는지를 측정하기 시작해야 한다고 주장합니다.

• 기존 지표: "누가 이 파일을 건드렸는가?" (저자성)
• 새로운 지표 필요: "이 사람이 왜 시스템이 이렇게 작동하는지 설명할 수 있는가?" (이해력)

과제:
"이해"를 측정하는 것은 "코드 라인 수"를 세는 것보다 훨씬 어렵습니다. 그것은 학생이 책장에 책을 몇 권 가지고 있는지 세는 것(쉬움)과, 책을 보지 않고 수학 문제를 풀 수 있는지 테스트하는 것(어려움)의 차이와 같습니다.

논문은 인정합니다: 우리는 아직 이 새로운 도구를 가지고 있지 않습니다. 이는 미해결 과제입니다. 하지만 가장 중요한 단계는 기존 도구가 죽었다는 사실을 깨닫고, 그것을 고치려 애쓰는 대신 새로운 것을 만들기 시작하는 것입니다.

6. 예측 (테스트)

논문은 자신의 주장이 옳다는 것을 증명하기 위해 대담한 예측을 합니다:

• 시나리오: 서류상으로는 완벽해 보이는 소프트웨어 팀이 있다고 가정해 봅시다. 그들은 높은 "트럭 요인"을 가지고 있습니다 (많은 사람이 코드를 건드렸으므로 안전해 보입니다).
• 현실: 코드가 AI에 의해 생성되었기 때문에, 아무도 깊은 논리를 이해하지 못합니다.
• 결과: 기이하고 새로운 문제가 발생했을 때, 팀은 이를 빠르게 해결하는 데 실패할 것입니다. 그들은 막히고, 당황하며, 문제를 해결하는 데 아주 오랜 시간이 걸릴 것입니다.
• 증거: 기존의 "트럭 요인" 지표는 "당신은 안전합니다!"라고 말하겠지만, 현실은 "당신은 곤경에 처했습니다!"가 될 것입니다. 이 격차가 기존 지표가 고장 났음을 증명합니다.

요약

• 과거: 코드를 썼다면, 그것을 이해한 것입니다. 우리는 누가 무엇을 썼는지 세어서 지식을 측정했습니다.
• 현재: AI가 코드를 쓰고, 인간은 그저 승인만 합니다. 코드에 남은 "서명"은 더 이상 "나는 이것을 이해한다"는 의미가 아닙니다.
• 결과: 우리의 기존 안전 점검 장치(트럭 요인 등)는 이제 우리에게 거짓말을 하고 있습니다. 그것들은 누가 작업을 수행했는지가 아니라, 누가 작업에 서명했는지를 측정합니다.
• 해결책: 우리는 실제적인 이해를 측정하는 새로운 방법을 발명해야 합니다. 그렇지 않으면 우리는 구형 계기판이 안전하다고 말하는 것을 믿으며 눈을 가린 채 비행하고 있는 것과 같습니다. 실제로는 "열(위험)"이 계속 오르고 있는데 말입니다.