The Competence Crisis: A Design Fiction on AI-Assisted Research in Software Engineering

소프트웨어 연구의 세계를 더 나은 컴퓨터를 만드는 법에 대한 책을 쓰는 과학자들이 모인 거대하고 북적이는 도서관이라고 상상해 보십시오. 수년 동안 이 도서관은 더 많은 사람이 책을 출판하려고 노력함에 따라 빠르게 성장해 왔습니다. 최근, 새로운 종류의 "슈퍼 필기사"(생성형 AI)가 도착했습니다. 이 필기사는 문장을 쓰고, 수학 문제를 풀고, 아이디어를 정리하는 일을 믿을 수 없을 정도로 빠르게 할 수 있습니다. 모두가 책을 쓰는 일을 훨씬 쉽게 만들어 준다며 열광하고 있습니다.

하지만 이 논문은 무서운 질문을 던집니다: 만약 우리가 슈퍼 필기사가 대신 일을 하도록 너무 익숙해진 나머지, 스스로 쓰는 법을 잊어버리게 된다면 어떻게 될까요?

이 논문의 이야기를 이해하기 쉽게 나누어 설명하면 다음과 같습니다:

1. 현재의 분위기: 행복하지만 불안한

저자들은 먼저 현재 소프트웨어 연구자들이 무엇을 느끼고 있는지 살펴보았습니다.

• 좋은 점: 커뮤니티는 우호적이고 지지적입니다. 사람들은 서로 돕는 것을 좋아합니다.
• 나쁜 점: 모든 이가 더 많은 책을 더 빨리 출판해야 한다는 엄청난 압박을 받고 있습니다. 이는 "동료 심사(peer review) 위기"를 초라했습니다. 검토해야 할 책이 너무 많아서 검토의 질이 떨어지고 있는 것입니다. 마치 판사가 하루에 1,000권의 소설을 읽어야 하는 것과 같습니다. 모든 실수를 잡아내는 것은 불가능합니다.
• 두려움: 멘토(스승)들은 제자들을 걱정하고 있습니다. 그들은 학생들이 AI 슈퍼 필기사에 너무 의존하게 되면, AI에게 질문하는 법에는 능숙해지겠지만 정작 답변을 이해하는 능력은 형편없어질 것을 우려합니다. 기초적인 부분에 대해 깊이 생각하는 능력을 잃어버릴 수도 있다는 것입니다.

2. 이야기: 2035년으로부터 온 경고

우리가 습관을 바꾸지 않는다면 어떤 일이 일어날 수 있는지 보여주기 위해, 저자들은 2035년을 배경으로 한 허구의 이야기를 썼습니다.

장면:
시니어 연구자인 제인 도(Jane Doe) 박사가 새로운 과학 논문을 검토하고 있습니다. 그 논문은 완벽해 보입니다. 글은 매끄럽고, 수학적 계산도 맞으며, AI "기여도 점수"는 98%입니다(즉, AI가 거의 모든 작업을 수행했다는 뜻입니다).

실수:
그 논문은 인간의 뇌와 컴퓨터를 연결하기 위해 "팍소스(Paxos)"라는 컴퓨터 규칙을 사용할 것을 제안합니다.

• AI의 오류: AI는 "분산 노드(distributed nodes)"라는 단어를 보고, "아, 팍소스는 저런 용도로 쓰이지!"라고 생각했습니다. 하지만 AI는 인간의 뇌가 복잡하고 연속적이며 생물학적인 반면, 팍소스는 경직되고 디지털적인 규칙이라는 점을 깨닫지 못했습니다. 뇌에 팍소스를 적용하는 것은 디지털 비디오 게임을 젖은 스펀지 위에서 실행하려는 것과 같습니다. 작동하지 않을 뿐더러 발작을 일으킬 수도 있습니다.
• 인간의 실패: 저자들은 이를 잡아내지 못했습니다. 그들은 AI를 전적으로 신뢰했습니다. 그들은 생물학에 대해 충분히 알지 못했기에 AI가 위험한 추측을 하고 있다는 사실을 알아차리지 못했습니다.

공포:
제인은 이것이 단 하나의 잘못된 논문이 아님을 깨닫습니다. 이번 달에 벌써 세 번째입니다. AI는 그럴듯하게 들리는 헛소리를 만들어내고 있고, 저자들은 이를 검증할 깊은 지식이 없기 때문에 이를 출판하고 있습니다. 곧 이 가짜 논문들이 다른 가짜 논문에 의해 인용되면서, 아무도 무엇이 진실인지 알 수 없는 "오염된 지식의 샘"이 만들어질 것입니다.

결론:
제인은 논문을 반려합니다. 하지만 그녀의 반려 서신은 단순히 수학적 오류에 대한 것이 아닙니다. 그것은 커뮤니티 전체를 향한 경고입니다: "우리는 엔지니어가 아니라 블랙박스의 운영자가 되었습니다. 우리는 버튼을 누르는 법은 알지만, 기계 내부가 어떻게 작동하는지는 모릅니다."

3. 큰 교훈: "T자형" vs "대시(—)형"

논문은 이 문제를 설명하기 위해 멋진 비유를 사용합니다.

• T자형 (좋음): 좋은 연구자는 T자 모양과 같아야 합니다. 그들은 많은 분야에 대한 폭넓은 이해(상단의 가로 막대)를 갖추고 있으면서도, 동시에 한 가지 특정 분야에 대한 깊고 수직적인 전문성(긴 다리 부분)을 가지고 있습니다. 이 깊은 다리가 있어야 그들은 복잡한 세부 사항을 파고들어 오류를 잡아낼 수 있습니다.
• 대시형 (나쁨): 만약 우리가 AI에 너무 의존한다면, 우리는 대시(—) 모양이 될 수 있습니다. 우리는 매우 넓고 빠르며 모든 것에 대해 조금씩 알겠지만, 깊이가 없을 것입니다. AI가 거짓말을 하는지 확인하기 위해 깊이 파고들 "수직적인 다리"가 없을 것입니다.

4. 우리는 무엇을 해야 하는가?

이 논문은 AI를 "금지하라"고 말하는 것이 아닙니다. 우리가 AI를 어떻게 사용해야 하는지 더 똑똑해져야 한다고 말합니다.

• 질문만 하지 말고, 확인하라: 연구자들은 기초적인 부분에 대한 "근육 기억"을 계속 유지해야 합니다. 그들은 AI의 작업을 수동으로 검증할 수 있어야 합니다. 마치 자동 조종 장치가 켜져 있더라도 직접 비행기를 조종할 줄 아는 조종사처럼 말입니다.
• 고통을 받아들여라: 학습은 종종 막히고, 디버깅하고, 실패하는 과정에서 옵니다. 만약 AI가 모든 고통을 제거해 버린다면, 우리는 어려운 문제를 해결하는 법을 배우는 것을 멈출지도 모릅니다.
• 책임을 져라: "AI가 한 일이다"라고 말할 수 없습니다. AI가 실수를 하더라도, 그 책임은 여전히 인간에게 있습니다.

요약

이 논문은 우리의 현재 습관을 비추어 보는 거울 역할을 하는 "디자인 픽션(Design Fiction, 설계된 허구)"입니다. 만약 우리가 자신의 깊은 지식을 날카롭게 유지하지 않은 채 AI에게 모든 힘든 일을 맡겨버린다면, 겉으로는 완벽해 보이지만 근본적으로는 망가진 미래를 만들게 될 것이라고 경고합니다. 목표는 단순히 효율적인 것이 아니라, **역량(competent)**을 갖추는 것입니다.