Practical Principles for AI Cost and Compute Accounting
이 논문은 기술적 허점을 차단하고, 전략적 게임을 방지하며, 책임 있는 리스크 완화를 저해하지 않으면서도 일관된 규제 이행을 보장하기 위한 AI 비용 및 컴퓨팅 회계 표준 설계의 7가지 원칙을 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능 시스템이 점점 더 강력해짐에 따라, 정부는 어떤 기계가 엄격한 감독을 필요로 하고 어떤 것은 그렇지 않은지를 결정하기 위한 신뢰할 수 있는 방법을 찾고 있습니다. 문제는 이러한 시스템이 매우 복잡하며, 그 내부 작동 방식이 기술 기업의 사적인 서버 안에 숨겨져 있는 경우가 많다는 점입니다. 이를 해결하기 위해 정책 입안자들은 모델을 구축하는 데 드는 비용과 학습에 필요한 컴퓨팅 파워라는 두 가지 측정 가능한 사실에 주목했습니다. 이 숫자들은 실제 지능과 시스템의 잠재적 위험성을 나타내는 대리 지표(proxy), 즉 대신하는 수단 역할을 합니다. 논리는 간단합니다. 만약 어떤 프로젝트가 막대한 자원 투자를 필요로 한다면, 그것은 사회에 위험을 초래할 수 있는 고도의 능력을 갖추었을 가능성이 높다는 것입니다. 유럽과 미국의 법률들은 이러한 임계치를 사용하여 규제를 촉발하기 시작했으며, 특정 수준의 지출이나 컴퓨팅 파워를 넘어서는 모든 프로젝트는 면밀히 감시되어야 한다고 가정합니다. 그러나 연구자 스티븐 캐스퍼(Stephen Casper), 루크 베일리(Luke Bailey), 팀 슈라이어(Tim Schreier)의 새로운 논문은 자원을 계산하는 명확한 규칙이 없다면, 이 시스템에는 영리한 개발자들이 이용할 수 있는 구멍이 가득하다고 주장합니다.
연구자들은 기업들이 자신들의 작업 규모를 숨길 수 있게 만드는 현재의 기술적 모호함을 해결하고자 했습니다. 그들은 현재의 제안들이 모델 생성의 전체 여정을 반영하지 못하는 경우가 많다는 점을 확인했습니다. 예를 들어, 개발자는 훨씬 더 크고 비싼 '교사(teacher)' 모델의 답변을 모방하도록 가르침으로써 더 작고 저렴한 모델을 훈련시킬 수 있습니다. 만약 규제가 최종 단계만을 계산한다면, 원래 교사 모델을 훈련시키는 데 들었던 막대한 비용은 무시되며, 이는 새로운 프로젝트가 기만적으로 저렴해 보이게 만듭니다. 마찬가지로, 기업들은 제한을 피하기 위해 작업을 서로 다른 법인으로 나누거나 오픈 소스 도구를 사용할 수도 있습니다. 이러한 문제를 해결하기 위해 저자들은 속임수를 쓰기 어렵고 집행하기 쉬운 회계 표준을 설계하기 위한 7가지 실질적인 원칙을 제안합니다.
첫 번째이자 가장 중요한 원칙은 프로젝트의 시작부터 최종 시스템에 이르기까지 투입된 모든 달러와 모든 컴퓨팅 단위를 계산하는 것입니다. 이는 데이터 준비 작업, 증류(distillation)에 사용된 교사 모델의 훈련, 심지어 과정 중에 폐기된 실패한 실험들까지 포함해야 함을 의미합니다. 저자들은 계산 범위를 최종 훈련 단계로만 제한하는 것이 '증류 루프홀(distillation loophole)'을 만들어, 모델의 지능에 담긴 진정한 비용을 은폐한다고 주장합니다. 상류(upstream) 작업에 대한 완전한 회계를 요구함으로써, 규제 당국은 시스템의 역량 뒤에 숨겨진 실제 투자 규모를 파악할 수 있습니다.
동시에, 논문은 모든 것을 계산할 필요는 없다고 제안합니다. 개발자들은 오픈 소스 데이터셋이나 현재 프로젝트가 시작되기 훨씬 전에 공개된 사전 훈련된 모델처럼 이미 모두에게 자유롭게 공개된 자원의 비용은 제외할 수 있어야 합니다. 이는 규칙이 기업의 독점적인 노력에 집중하게 하고, 공유된 기반을 사용하는 것에 대해 불이ful한 벌을 주는 것을 방지하기 위함입니다. 그러나 저자들은 중요한 단서를 덧붙입니다. 만약 기업이 미완성된 모델을 대중에게 공개한 후, 이를 다시 빠르게 가져와서 완성을 한다면, 그 초기 작업 역시 계산에 포함되어야 한다는 것입니다. 이는 기업이 모델을 잠시 공개했다가 비밀리에 개발을 계속함으로써 회계상의 기록을 '리셋'하려는 전략을 방지하기 위함입니다.
또한 이 프레임워크는 어떤 작업은 모델을 똑똑하게 만드는 것이 아니라 안전하게 만들기 위해 수행된다는 점을 인식하고 있습니다. 훈련 데이터에서 유해한 콘텐츠를 필터링하거나, 모델이 범죄 계획을 돕는 것을 거부하는지 테스트하는 활동 등은 비용 계산에서 제외되어야 합니다. 목표는 기업이 사회적 위험을 줄이는 옳은 일을 함으로써 재정적 불이익을 받지 않도록 하는 것입니다. 이러한 면제가 정당한지 확인하기 위해, 저자들은 기업이 상세하고 항목별로 분류된 보고서를 제출해야 한다고 강조합니다. 이 보고서는 금융 감사와 같은 역할을 하여, 개발자들이 정확히 무엇을 왜 했는지, 그리고 정확한 데이터를 사용할 수 없을 때 사용한 추정치를 포함하여 어떻게 숫자를 계산했는지 설명하도록 강제할 것입니다.
마지막으로, 논문은 규제가 총비용과 총 컴퓨팅 파워라는 두 가지 별도의 트리거(trigger)를 사용해야 한다고 조언합니다. 이 두 지표는 때때로 독립적으로 조작될 수 있기 때문입니다. 예를 들어, 값싸지만 연산량이 많은 데이터를 사용하는 것과 비싸지만 효율적인 인간 데이터를 사용하는 것 사이의 차이처럼, 두 가지 안전망을 모두 갖추는 것이 시스템을 우회하기 훨씬 어렵게 만듭니다. 저자들은 또한 이러한 표준이 정체되어 있어서는 안 된다고 강조합니다. 기술이 진화하고 효율성이 높아짐에 따라, 효과를 유지하기 위해 임계치와 규칙은 몇 달마다 정기적으로 업데이트되어야 합니다. 이러한 적응성이 없다면, 오늘날 유효한 규칙이 내일은 쓸모없어질 수 있으며, 회계 규칙이 혁신의 속도를 따라잡지 못한다는 이유만으로 위험한 시스템이 감시망을 빠져나가는 것을 허용하게 될 것입니다.
연구자들은 완벽한 회계 시스템은 존재할 수 없지만, 이러한 원칙들이 투명하고 일관되며 공공의 이익에 부합하는 규칙을 만들기 위한 견고한 토대를 제공한다고 결론짓습니다. 속임수를 쓰려는 전략적 게임을 허용하는 구멍을 메우고 책임 있는 위험 관리를 장려함으로써, 이 가이드라인은 정부가 동일한 수준의 위험을 초래하지 않는 소규모 개발자들을 억압하지 않으면서도 가장 진보된 인공지능을 감독하는 데 도움을 줄 수 있습니다. 궁극적인 목표는 AI 프로젝트의 실제 규모가 가시적으로 드러나는 규제 환경을 조성하여, 가장 강력한 시스템이 요구되는 만큼의 주의를 받을 수 있도록 하는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.