AI Researchers' Views on Automating AI R&D and Intelligence Explosions

2025 년 25 명의 선도적 AI 연구자를 인터뷰한 이 논문은 AI 가 스스로의 연구를 자동화하여 지능 폭증을 일으킬 수 있다는 우려가 지배적이지만, 발생 시기, 거버넌스 방안, 그리고 내부 전용화 가능성에 대해서는 연구자들 간에 명확한 이견이 존재함을 보여줍니다.

핵심

🧙‍♂️ 핵심 이야기: "스스로를 키우는 마법사" (AI 의 자기 발전)

상상해 보세요. 한 마법사가 있습니다. 이 마법사는 새로운 주문을 만들어내서 더 강력한 마법을 부릴 수 있습니다. 그런데 이 마법사가 스스로 더 강력한 주문을 만들어내는 법을 배우고, 그 주문으로 더 강력한 마법사를 만들어내는 상황을 상상해 보세요.

이게 바로 논문에서 말하는 **'지능 폭발 (Intelligence Explosion)'**입니다.

• 현실: 지금 AI 는 인간이 시키는 대로 코딩을 하거나 수학 문제를 풉니다.
• 미래 (우려): AI 가 인간 연구자를 대신해서 "어떻게 하면 더 똑똑한 AI 를 만들까?"라는 연구 자체를 해내고, 그 결과로 나온 AI 가 다시 더 똑똑한 AI 를 만드는 악순환 (혹은 선순환) 의 고리가 생기는 것입니다.

이 논문은 2025 년 8~9 월, 구글 딥마인드, 오픈AI, 스탠포드 등 최첨단 연구소와 대학의 연구자 25 명을 만나 이 상황에 대해 어떻게 생각하는지 물었습니다.

---

🔍 연구자들이 본 세 가지 큰 그림

1. "도구"에서 "동료"로, 그리고 "주인"으로

연구자들은 AI 의 발전 단계를 3 단계로 보았습니다.

• 1 단계 (도구): AI 가 인간 연구자의 '손'이 되어 코딩 속도를 5 배로 높여줍니다. (예: "이거 좀 짜줘"라고 하면 10 배 빠르게 짜줌)
• 2 단계 (협력): AI 가 인간과 함께 일합니다. 인간은 큰 그림을 그리고, AI 는 세부 작업을 합니다.
• 3 단계 (자율): AI 가 인간 없이도 연구 전체를 혼자 해냅니다. 이 시점이 되면 인간이 더 이상 필요 없어질 수도 있습니다.

2. "비밀 병기" vs "공개된 기술" (가장 뜨거운 논쟁)

연구자들이 가장 걱정하는 부분은 이 기술이 세상에 공개될지, 아니면 회사나 정부만 쓸지입니다.

• 비밀 병기 (내부 전용) 설:

  • 비유: "내가 만든 최고의 레시피를 경쟁 식당에 알려줄 리가 있나?"
  • 이유: AI 연구는 돈과 경쟁력이 생명이기 때문에, 회사들은 이 기술을 스스로만 쓰려고 할 것입니다. 공개하면 경쟁사가 따라 잡거나, 해킹당할까 봐 두려워합니다.
  • 결과: 세상은 AI 가 얼마나 발전했는지 모른 채, 몇몇 거대 기업이나 정부만 "비밀 병기"를 들고 뒤에서 빠르게 발전할 수 있습니다.

• 공개된 기술 설:

  • 비유: "돈을 벌려면 레시피를 팔아야지."
  • 이유: 투자자들에게 돈을 보여주고 수익을 내야 하므로, 기술을 공개해야 합니다. 또한, "누군가는 이 기술을 공개할 테니, 우리도 공개해야 경쟁에서 살아남는다"는 압박이 있습니다.

결론: 대부분의 연구자는 **"가장 똑똑한 AI 는 공개되지 않고, 회사 내부에 숨겨져 있을 것"**이라고 예상했습니다.

3. "실리콘밸리"와 "대학"의 시각 차이

이 논문에서 가장 재미있는 점은 누가 어디에 있느냐에 따라 생각이 완전히 다르다는 것입니다.

• 실리콘밸리 (기업 연구자):
  • 마음: "우리는 매일 이걸 보고 있어요. AI 가 정말 빠르게 발전하고 있죠. '지능 폭발'은 현실일 수 있어요."
  • 이유: 직접 AI 를 만들고, 그 발전 속도를 눈으로 확인하기 때문입니다.
• 대학 (학계 연구자):
  • 마음: "그건 너무 과장된 이야기 아닐까요? AI 가 스스로 연구할 수 있는 한계가 있을 거예요."
  • 이유: 과거의 실패 경험을 바탕으로 비판적이고 신중합니다. "지능 폭발"을 이야기하면 동료들에게 미친 사람 취급을 받을 수도 있다고 합니다.

---

⚠️ 왜 이것이 위험한가요? (가장 큰 걱정)

연구자들은 AI 가 스스로 연구를 하는 것이 단순히 "일 잘하는 로봇"이 생기는 문제가 아니라, 치명적인 위험이 될 수 있다고 봅니다.

1. 통제 불능의 속도: AI 가 스스로를 발전시키는 속도가 인간의 규제나 이해 속도를 훨씬 앞지를 수 있습니다. (예: AI 가 1 년 만에 100 년 치 연구를 해치우는 상황)
2. 권력 집중: 이 기술을 먼저 가진 회사나 나라가 영원히 독점하게 되어, 다른 누구도 따라잡을 수 없는 '승자 독식' 상황이 올 수 있습니다.
3. 비밀스러운 발전: 이 기술이 세상에 공개되지 않고 비밀리에 발전하면, 우리가 위험을 감지하기도 전에 이미 너무 늦었을 수 있습니다.

---

🛡️ 해결책은 있을까? (규제와 투명성)

연구자들은 "어떻게 막을 수 있을까?"에 대해 다양한 의견을 냈습니다.

• "빨간선 (Red Lines)" 설정: "이 정도까지 발전하면 멈춰라!"라는 명확한 규칙을 만드는 것입니다.
  • 문제: "어디까지가 위험한지"를 정확히 정의하기 어렵고, 규칙을 지키는지 확인하기도 어렵습니다. 너무 일찍 선을 그으면 발전을 막을 수 있고, 너무 늦으면 소용이 없습니다.
• 투명성 (Transparency): "빨간선"보다는 **"무슨 일을 하고 있는지 공개하라"**는 의견이 더 많았습니다.
  • 비유: "비밀 병기를 만드는 건 어쩔 수 없더라도, 그 병기가 얼마나 강력해졌는지, 누가 만들고 있는지 우리는 계속 볼 수 있게 해줘야 한다."
  • 대부분의 연구자는 규제보다는 투명성 확보를 더 현실적인 해결책으로 봅니다.

---

💡 한 줄 요약

"AI 가 스스로를 더 똑똑하게 만드는 연구를 할 수 있게 되면, 그 속도가 인간이 통제할 수 없을 만큼 빨라질 수 있습니다. 특히 이 기술이 몇몇 거대 기업이나 정부만 비밀리에 가지고 있다면, 우리는 그 위험을 모른 채 위험한 상황에 처할 수 있습니다. 그래서 우리는 이 기술이 어떻게 발전하는지 '눈을 뜨고' 지켜봐야 합니다."

이 논문은 AI 의 미래가 단순히 "기술이 좋아지는 것"이 아니라, **"누가 그 기술을 가지고 있고, 우리가 얼마나 알고 있는가"**에 따라 인류의 운명이 달라질 수 있음을 경고하고 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 주제: 인공지능 (AI) 이 스스로의 연구 개발 (R&D) 과정을 자동화하여 지능이 기하급수적으로 성장하는 '지능 폭발 (Intelligence Explosion)' 시나리오에 대한 연구자들의 인식과 우려.
• 배경: 많은 선도적인 AI 연구자들이 AI 가 AI 연구 자체를 자동화할 수 있다면, 이는 이전의 모든 기술 혁명을 초월하는 변혁적 영향을 미칠 것으로 예상합니다. 이는 'ASARA(AI Systems for AI R&D Automation)'라고 불리는 시스템이 인간 연구자를 대체하거나 초월하여 자기 개선 (Recursive Improvement) 을 수행하는 과정을 의미합니다.
• 문제점: 현재 AI 시스템이 재귀적 개선에 성공한 것은 아니지만, 이 가능성은 가장 시급한 AI 위험 중 하나로 간주되고 있습니다. 그러나 연구자들 사이에서 이러한 시나리오의 실현 가능성, 타임라인, 위험의 정도, 그리고 적절한 거버넌스 방안에 대해 심각한 의견 불일치가 존재합니다.

2. 연구 방법론 (Methodology)

• 데이터 수집: 2025 년 8 월과 9 월에 걸쳐 25 명의 선도적인 AI 연구자를 대상으로 반구조화 인터뷰 (Semi-structured interviews) 를 수행했습니다.
• 참가자 구성:
  • 출신: Google DeepMind, OpenAI, Anthropic, Meta 등 최첨단 AI 기업 (Frontier Labs) 과 UC 버클리, 프린스턴, 스탠포드 등 주요 학계, 그리고 비영리 단체 및 산업계 연구자.
  • 선정 기준: 재귀적 개선에 대한 논문 발표 경력, 최첨단 AI 연구 참여 여부, 그리고 다양한 관점 (낙관론자, 회의론자 등) 을 포괄하기 위한 목적적 표본 추출 (Literature-based, Conference workshop, Snowball sampling).
• 인터뷰 프로토콜:
  1. ASARA 의 미래상: AI 가 연구 자동화를 어떻게 수행할지, 어떤 단계 (단순 보조 $\rightarrow$ 자율 개발자) 를 거칠 것인지.
  2. 조직 역학: 공개 배포 vs 내부 전용 (Internal deployment) 에 대한 전망.
  3. 위험 및 거버넌스: 위험 인식, 완화 전략, '레드 라인 (Red Lines, 금지선)' 설정의 타당성.
• 분석 방법: 인터뷰 기록을 전사 (Transcription) 하고, 1 인 저자가 귀납적 코딩 (Inductive coding) 을 수행했습니다. 또한, Claude 를 활용한 AI 보조 코딩을 통해 범주형 변수 (예: 배포 기대치, 위험 인식 수준) 를 분석하여 시각화했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. ASARA 의 발전 경로에 대한 합의와 차이

• 발전 단계: 연구자들은 AI 가 점진적으로 코딩 능력을 향상시키고, 인간과 협력하며, 최종적으로는 완전한 연구 사이클을 자율적으로 수행하는 단계로 나아갈 것이라는 데 대체로 동의했습니다.
  • 1 단계: 연구 속도 향상 (Human-in-the-loop).
  • 2 단계: 협업 (AI 가 하위 작업 수행).
  • 3 단계: 완전 자동화 (Human-out-of-the-loop).
• 타임라인 불일치: 기술적 가능성에 대해서는 의견이 모였으나, 언제 발생할 것인지에 대해서는 큰 차이가 있었습니다.

나. '실리콘 밸리 vs 학계'의 인식 격차 (Epistemic Divide)

• 최첨단 기업 (Frontier Labs) 연구자: 재귀적 개선 시나리오를 정기적으로 논의하며, 기술적 진보가 가속화되고 있다는 직접적인 경험 (Visceral evidence) 을 바탕으로 실현 가능성을 높게 평가합니다.
• 학계 (Academia) 연구자: 지능 폭발 시나리오에 대해 더 회의적입니다. 학계의 비판적 문화와 과거의 과장된 약속 실패 경험, 그리고 자금 조달의 위험성 때문에 이 주제를 논의하는 것을 꺼리는 경향이 있습니다.

다. 내부 배포 (Internal Deployment) 에 대한 우려

• 예상: 25 명 중 17 명이 ASARA 와 같은 고급 AI 시스템은 대중에게 공개되지 않고 기업 내부나 정부 기관에서만 사용될 것으로 예상했습니다.
• 이유:
  • 경쟁 우위 유지: 경쟁사보다 빠른 연구 개발을 위해 기술을 비공개로 유지하려는 경제적 동인.
  • 보안 및 확산 방지: 모델 역공학 (Distillation) 및 기술 유출 우려.
  • 제한된 컴퓨팅 자원: 대중 서비스보다 내부 R&D 에 자원을 집중하는 것이 더 효율적이라는 판단.
• 위험: 이로 인해 AI 발전 속도가 외부의 감시나 규제 없이 '닫힌 문 (Behind closed doors)' 안에서 가속화될 수 있으며, 권력 집중 (Power Concentration) 이 심화될 수 있습니다.

라. 위험 인식 및 완화 전략

• 주요 위험:
  • 메타 위험 (Meta Risk): ASARA 는 다른 모든 AI 위험을 증폭시키는 '메타 위험'으로 간주됩니다.
  • 적응 지연 (Adaptation Lag): 기술 발전 속도가 인간의 규제 및 이해 능력을 압도할 것이라는 우려.
  • 권력 집중: 한 주체가 ASARA 를 먼저 확보하면 영구적인 우위를 점할 수 있는 '승자 독식 (Winner-take-all)' 구조.
• 거버넌스 (레드 라인 vs 투명성):
  • 레드 라인 (Red Lines): 특정 기술 임계값을 넘으면 제재를 가하는 방식에 대해서는 의견이 분분했습니다. 정의의 모호성, 검증의 어려움, 그리고 과도한 규제가 발전을 저해할 수 있다는 우려가 제기되었습니다.
  • 투명성 기반 접근: 대부분의 연구자는 엄격한 금지선보다는 강제 보고 (Mandatory Reporting), 내부 배포에 대한 투명성 확보, 인간 감독 유지와 같은 유연하고 적응적인 거버넌스를 선호했습니다.

4. 연구의 의의 및 시사점 (Significance)

• 정책적 함의: AI 거버넌스 논의는 최첨단 기업 연구자와 학계 연구자 모두를 포함해야 합니다. 두 집단의 인식 격차는 정책 수립 시 중요한 변수가 됩니다.
• 위험 관리: ASARA 는 단순한 기술적 도약이 아니라, 다른 모든 AI 위험을 가속화하는 '메타 위험'이므로, 이에 대한 모니터링과 투명한 보고 체계가 시급합니다.
• 미래 예측의 한계: 고정된 '레드 라인'보다는 기술 발전에 따라 적응 가능한 동적 거버넌스 (Dynamic Governance) 가 필요하다는 전문가들의 합의는 규제 프레임워크 설계에 중요한 방향성을 제시합니다.
• 관측 지표: 연구자들은 구체적인 관측 지표 (예: 40 시간 이상의 자율 작업 수행 가능 여부, PyTorch 재작성 능력, 해석 가능성 상실 등) 를 통해 지능 폭발의 징후를 포착할 수 있다고 제안했습니다.

결론

본 연구는 AI 연구 자동화 (ASARA) 가 가져올 지능 폭발 시나리오에 대해 연구자들 사이에서 기술적 비전은 공유되지만, 실현 가능성과 위험 관리에 대한 깊은 인식 차이가 존재함을 밝혔습니다. 특히, 기업 내부에서의 비공개 개발이 가속화될 가능성과 이에 따른 권력 집중 위험이 가장 큰 우려 사항으로 부각되었으며, 이를 해결하기 위해 엄격한 금지선보다는 투명한 모니터링과 적응형 거버넌스가 필요하다는 데 연구자들의 의견이 모였습니다.