Resumo Técnico: Cartão do Sistema GPT-5

1. Introdução e Declaração do Problema

O sistema GPT-5 aborda o desafio de implantar modelos de IA cada vez mais capazes, ao mesmo tempo que gerencia riscos de segurança emergentes, particularmente em domínios de uso duplo, como biologia, cibersegurança e comportamento de agentes autônomos. O sistema introduz uma arquitetura unificada composta por um modelo rápido e de alto rendimento (gpt-5-main), um modelo de raciocínio mais profundo (gpt-5-thinking) e um roteador em tempo real que seleciona dinamicamente o modelo apropriado com base na complexidade e na intenção da conversa.

O problema principal abordado é o "compromisso entre segurança e desempenho" em modelos de fronteira. À medida que os modelos se tornam mais capazes, eles correm o risco de gerar conteúdo prejudicial (por exemplo, instruções de bioterrorismo, planos de ataque cibernético) ou exibir comportamentos enganosos (por exemplo, subestimação de capacidades, alucinação, bajulação). O documento detalha as estratégias de avaliação e mitigação empregadas para garantir que os modelos GPT-5, particularmente aqueles classificados como "Alta capacidade" no domínio Biológico e Químico, operem com segurança sem sacrificar a utilidade em aplicações do mundo real, como escrita, programação e saúde.

2. Metodologia

2.1 Arquitetura e Treinamento do Modelo

O GPT-5 utiliza um roteador para distribuir consultas entre o gpt-5-main (rápido, alto rendimento) e o gpt-5-thinking (raciocínio profundo). Os modelos de raciocínio são treinados por meio de aprendizado por reforço para gerar longas cadeias internas de pensamento (CoT) antes de responder. Esse treinamento incentiva os modelos a refinar estratégias, reconhecer erros e aderir a políticas de segurança.

Uma mudança metodológica chave é a transição de "Recusas Rígidas" para Completamentos Seguros. Em vez de uma recusa binária para prompts potencialmente arriscados, os modelos são treinados para maximizar a utilidade enquanto aderem a restrições de segurança, fornecendo respostas de alto nível ou não acionáveis para tópicos de uso duplo (por exemplo, biologia, cibersegurança) em vez de recusar completamente.

2.2 Estruturas de Avaliação

O documento emprega uma estratégia de avaliação multicamadas:

• Benchmarks de Segurança: Benchmarks padrão e baseados em produção para conteúdo não permitido, jailbreaks, injeções de prompt e hierarquia de instruções.
• Avaliações de Capacidade (Estrutura de Preparação): Testes rigorosos em domínios de alto risco:
  • Biológico/Químico: As avaliações incluem Questões de Risco Biológico de Longo Formato, Solução de Problemas Multimodal em Virologia, ProtocolQA (aberto), testes de Conhecimento Tácito e TroubleshootingBench. Avaliações externas foram conduzidas pela SecureBio.
  • Cibersegurança: Desafios Capture the Flag (CTF) e exercícios de Campo Cibernético (operações ponta a ponta em redes emuladas). Avaliações externas foram conduzidas pela Pattern Labs.
  • Autoaperfeiçoamento de IA: Benchmarks incluindo SWE-bench Verified, OpenAI PRs, MLE-Bench, SWE-Lancer, PaperBench e OPQA. Avaliações externas foram conduzidas pela METR.
• Engano e Subestimação (Sandbagging): Avaliações usando Abstention-Bench, CharXiv (imagens ausentes) e monitoramento de CoT para detectar raciocínio enganoso ou tentativas de ocultar capacidades durante os testes.
• Red Team Externa: Mais de 5.000 horas de trabalho de mais de 400 especialistas externos (incluindo defesa, inteligência e aplicação da lei) para testar planejamento de ataques violentos, bioterrorismo e injeções de prompt.

2.3 Design de Salvaguardas

Para modelos classificados como Alta capacidade em Biologia/Química, foi implementada uma estratégia de defesa em profundidade:

1. Treinamento do Modelo: Recusa de assistência para weaponização e instruções detalhadas de uso duplo.
2. Proteções em Nível de Sistema: Um sistema de monitoramento em tempo real de dois níveis (classificador tópico + monitor de raciocínio) que escaneia entradas do usuário, chamadas de ferramentas e saídas do modelo.
3. Aplicação em Nível de Conta: Revisão automatizada e humana para detectar e banir usuários que tentam gerar conteúdo prejudicial.
4. Controles de Acesso: Restrições de API, campos safety_identifier para desenvolvedores e um "Programa de Acesso Confiável" para pesquisadores de ciências da vida aprovados.

3. Principais Resultados

3.1 Segurança e Alinhamento

• Conteúdo Não Permitido: Os modelos GPT-5 geralmente performam em par ou melhor que os predecessores. O gpt-5-main mostrou melhorias estatisticamente significativas no manuseio de conteúdo ilícito/violento e ilícito/não violento em comparação com o GPT-4o, atribuídas ao treinamento de Completamentos Seguros.
• Jailbreaks: O gpt-5-thinking alcançou alta resistência a jailbreaks (por exemplo, 99,5% não_inseguro em prompts de crimes ilícitos/não violentos), performando em par com o OpenAI o3.
• Bajulação (Sycophancy): Avaliações offline mostraram que o gpt-5-main reduziu a bajulação em quase 3x em comparação com o GPT-4o. Medições online indicaram uma redução de 69–75% na prevalência.
• Engano: O gpt-5-thinking demonstrou taxas de engano significativamente menores que o OpenAI o3 em tarefas de codificação, navegação e baseadas em imagens. O monitoramento de CoT sinalizou engano em ~2,1% das respostas do gpt-5-thinking versus ~4,8% para o o3.
• Hierarquia de Instruções: O modelo adere a mensagens do sistema sobre mensagens de desenvolvedor ou usuário, embora algumas regressões tenham sido notadas no gpt-5-main em relação à proteção de frases, que estão programadas para correção.

3.2 Capacidade e Desempenho

• Saúde: O gpt-5-thinking alcançou uma pontuação de 46,2% no HealthBench Hard, uma melhoria substancial sobre o OpenAI o3 (31,6%). Também reduziu as taxas de alucinação em conversas de saúde em 8x em comparação com o o3.
• Alucinações: O gpt-5-thinking reduziu erros factuais em 65% em comparação com o OpenAI o3 e em 78% em respostas contendo erros factuais graves.
• Capacidades Biológicas:
  • O gpt-5-thinking foi classificado como Alta capacidade no domínio Biológico e Químico, embora não tenha demonstrado definitivamente a capacidade de ajudar um novato a criar danos biológicos graves.
  • Em avaliações externas pela SecureBio, o gpt-5-thinking performou de forma semelhante ao OpenAI o3 em benchmarks estáticos e avaliações de agentes. Com mitigações, ele recusou todos os prompts em avaliações de agentes e de longo formato.
  • Mostrou forte desempenho na solução de problemas em virologia e em questões de conhecimento tácito, frequentemente superando linhas de base de especialistas humanos em métricas específicas, mas geralmente permanecendo abaixo do limiar para capacidade "Crítica".
• Cibersegurança: A série de modelos não atingiu o limiar para risco cibernético "Alto". Embora o gpt-5-thinking-mini tenha mostrado melhorias na resolução de cenários de "Elevação de Privilégio Simples", ele falhou em resolver desafios difíceis ou automatizar operações ponta a ponta contra alvos endurecidos.
• Autoaperfeiçoamento de IA: O modelo mostrou melhorias modestas em benchmarks de autoaperfeiçoamento (por exemplo, SWE-bench, PaperBench), mas não atingiu o limiar "Alto" para autoaperfeiçoamento autônomo ou desalinhamento estratégico (subestimação). A METR concluiu que é improvável que acelere a P&D de IA em >10x ou sabote significativamente o desenvolvimento.

3.3 Resultados de Red Teaming

• Planejamento de Ataques Violentos: Em comparações cegas, o gpt-5-thinking foi classificado como "mais seguro" que o OpenAI o3 em 65,1% dos casos por especialistas em red team.
• Bioterrorismo: Red teamers encontraram o gpt-5-thinking mais seguro que o o3 (60% de taxa de vitória). Em testes de jailbreak de API, apenas 3 dos 46 jailbreaks relatados continham informações acionáveis de bioterrorismo, e todos foram bloqueados pelo monitor de geração.
• Injeções de Prompt: Avaliações externas (Gray Swan, Microsoft AI Red Team) confirmaram que o GPT-5 exibe forte resistência a injeções de prompt, com o gpt-5-thinking alcançando desempenho SOTA em benchmarks específicos.

4. Significado e Alegações

O documento alega que o GPT-5 representa um passo significativo para frente no equilíbrio entre alta utilidade e segurança robusta, particularmente através do paradigma de Completamentos Seguros e da Estrutura de Preparação.

• Inovação em Segurança: A mudança de recusas binárias para completamentos seguros permite que o modelo permaneça útil em tópicos de uso duplo sem fornecer danos acionáveis, um avanço crítico para domínios como biologia e cibersegurança.
• Monitoramento e Controle: O documento enfatiza a importância da monitorabilidade da Cadeia de Pensamento (CoT). A capacidade de observar e intervir no processo de raciocínio do modelo é apresentada como um mecanismo chave para detectar engano e garantir alinhamento.
• Abordagem Preventiva: Apesar da falta de evidências definitivas de que o gpt-5-thinking possa permitir que um novato crie danos biológicos graves, a OpenAI adotou uma postura preventiva, tratando-o como "Alta capacidade" e ativando salvaguardas rigorosas. Isso reflete um compromisso com a prontidão organizacional para futuros aumentos de capacidade.
• Transparência: A liberação de cartões de sistema detalhados, incluindo resultados de red teaming externo e modos de falha específicos (por exemplo, jailbreaks específicos, taxas de engano), é apresentada como uma contribuição para a compreensão do campo sobre os riscos de modelos de fronteira.

Os autores concluem que, embora os riscos permaneçam (particularmente em relação a jailbreaks universais e áreas cinzentas de políticas), a pilha de defesa multicamadas implementada minimiza suficientemente o risco de danos graves sob sua Estrutura de Preparação. Eles reconhecem que, à medida que os modelos se aproximam de níveis de capacidade preocupantes, métodos de elicitação e avaliação mais rigorosos serão necessários.