NeurIPS Should Require Reproducibility Standards for Frontier AI Safety Claims

Resumo Técnico: NeurIPS Deve Exigir Padrões de Reprodutibilidade para Alegações de Segurança de IA de Fronteira

Problema: A Inversão Evidencial
O artigo identifica uma falha estrutural crítica na pesquisa de segurança de IA de fronteira denominada "inversão evidencial". Na aprendizagem de máquina padrão, a norma é que alegações empíricas mais consequentes sejam apoiadas por normas mais fortes de divulgação e reprodutibilidade. No entanto, na segurança de IA de fronteira, essa relação é invertida: as alegações mais consequentes — afirmações de que um modelo geral altamente capaz é seguro o suficiente para implantação, adequadamente mitigado ou abaixo de um limiar de risco específico — são frequentemente as menos reprodutíveis.

As métricas atuais de transparência (por exemplo, o Índice de Transparência de Modelos Fundamentais de 2025) indicam que os principais desenvolvedores frequentemente retêm os artefatos necessários para avaliar essas alegações, como conjuntos de prompts, pipelines de avaliação e divulgações de dados de treinamento. Isso cria uma situação em que alegações de segurança são tratadas como afirmações normativas (por exemplo, "o modelo é seguro") sem o respaldo evidencial necessário para a legitimidade científica. O artigo argumenta que isso não é meramente uma preferência por transparência, mas uma falha de validade de medição, onde comparações de taxas de sucesso de ataques ou mitigação de risco são frequentemente fundamentadas em medições de baixa validade ou comparações "de maçãs com laranjas".

Metodologia: Um Framework de Divulgação em Três Níveis
Os autores propõem uma intervenção metodológica para a conferência NeurIPS para abordar essa lacuna sem exigir a liberação pública de artefatos perigosos. A metodologia central é um Framework de Divulgação em Três Níveis acoplado a um Inventário de Alegações obrigatório.

1. Inventário de Alegações: Autores que fazem alegações de segurança de IA de fronteira devem submeter um inventário estruturado listando cada alegação, seu escopo, os artefatos necessários para avaliação e o nível de divulgação solicitado. Isso inclui uma "declaração de escopo" detalhando o sistema avaliado (tipo de checkpoint), o ambiente (offline vs. ao vivo), componentes do pipeline e quantificações de incerteza.
2. Sistema de Três Níveis:
   • Nível 1 (Público): O padrão. Exige liberação pública completa de prompts de avaliação, código, rubricas e identificadores de versão suficientes para reexecutar a alegação. Suporta validade empírica total.
   • Nível 2 (Controlado): Aplicado quando a liberação pública cria riscos materiais de mau uso ou segurança, mas a revisão confidencial é viável. Exige acesso privado para um painel confidencial da NeurIPS ou auditores independentes aprovados. O artigo público inclui um resumo dos métodos, justificativas para redação e uma declaração de escopo do revisor. Isso suporta validade empírica "forte, mas qualificada".
   • Nível 3 (Restrito): Aplicado quando até mesmo a revisão confidencial não é viável (por exemplo, harnesses de melhoria CBRN ao vivo). A alegação é "escalada corretamente", o que significa que sua força é reduzida ao que a evidência restrita pode suportar. Pode aparecer como contexto ou uma nota descritiva, mas não pode servir como garantia para conclusões "abaixo do limiar" ou "implantação apoiada".
3. Mecanismo de Governança: A proposta descreve um Colóquio Federado para revisões do Nível 2. Em vez de depender de uma única entidade central, as submissões do Nível 2 são roteadas para uma rede de anfitriões de revisão segura (por exemplo, Institutos Nacionais de Segurança de IA, avaliadores independentes como o METR, laboratórios acadêmicos confiáveis) com base na expertise de domínio (por exemplo, CBRN, ofensa cibernética, risco sistêmico). Um painel confidencial de acadêmicos não afiliados e pessoal do instituto revisa os artefatos sob acordos de não divulgação, produzindo uma "declaração de adequidade" pública sem revelar dados sensíveis.

Contribuições Principais
O artigo contribui com seis elementos específicos para o discurso sobre governança de segurança de IA:

1. Definição Operacional: Uma definição quantitativa e funcional de uma "alegação de segurança de IA de fronteira", ancorada nos limiares de computação do Ato de IA da UE ($10^{25}$ FLOPs) ou na presença de capacidades emergentes perigosas (melhoria CBRN, ofensa cibernética autônoma, autorreplicação, decepção estratégica).
2. Diagnóstico: Um diagnóstico formal da "inversão evidencial" fundamentado em evidências empíricas de 2025–2026, demonstrando que as falhas de reprodutibilidade estão concentradas onde as alegações são normativas em vez de descritivas.
3. Argumento Institucional: Uma justificativa para a NeurIPS como o local apropriado, citando suas normas existentes de reprodutibilidade (por exemplo, a Lista de Verificação de Reprodutibilidade de ML) e seu papel em conferir legitimidade científica a frameworks de segurança de fronteira.
4. O Framework: O modelo detalhado de divulgação em três níveis, incluindo o inventário de alegações, declarações de escopo e a infraestrutura de revisão federada.
5. Caminho de Implementação: Um plano de implementação faseada:
   • Ano 1: Implementação do inventário de alegações e lista de verificação no processo de submissão existente.
   • Ano 2: Um piloto do painel confidencial do Nível 2 (limitado a cinco artigos).
   • Ano 3: Introdução de rótulos de divulgação visíveis (espelhando os emblemas de artefato da ACM) e sanções graduais para não conformidade.
6. Tratamento de Objeções: Respostas sistemicas a cinco objeções principais, incluindo preocupações sobre participação da indústria, a viabilidade da revisão confidencial e o risco de captura do painel.

Resultados e Alegações
Como um artigo de posição, o trabalho não apresenta resultados experimentais ou dados empíricos gerados pelos autores. Em vez disso, seus "resultados" são a derivação lógica do framework proposto a partir de evidências e precedentes existentes. O artigo afirma que:

• As práticas atuais permitem que alegações de segurança adquiram legitimidade revisada por pares sem evidência reprodutível, criando uma lacuna entre o rigor científico e as necessidades de governança.
• O framework proposto permite o escrutínio de alegações de segurança sensíveis sem exigir liberação pública, alinhando-se com precedentes em revisão de ética médica e divulgação coordenada de vulnerabilidades.
• A "escala correta" das alegações no Nível 3 garante que os artigos não superestimem suas descobertas quando a evidência é restrita, mantendo a integridade científica.

Significância
O artigo argumenta que a significância desta proposta reside em corrigir uma patologia estrutural onde "as alegações mais consequentes na segurança de IA são frequentemente as menos reprodutíveis". Ao aplicar os mesmos padrões de reprodutibilidade a alegações de segurança de fronteira que a comunidade aplica a alegações de aprendizagem de máquina padrão, a NeurIPS pode prevenir a legitimação de afirmações de segurança não verificadas. Os autores enfatizam que isso não é um chamado para a NeurIPS se tornar um regulador, mas para garantir que o status evidencial das alegações publicadas sob sua égide corresponda à força dessas alegações. A proposta visa moldar a prática enquanto o framework ainda é maleável, garantindo que publicações revisadas por pares sirvam como uma entrada confiável para governança global de IA e políticas.