💬 NLP

OpenSIR: Open-Ended Self-Improving Reasoner

O OpenSIR é um framework de auto-jogo que permite que grandes modelos de linguagem melhorem continuamente suas capacidades de raciocínio ao alternadamente atuarem como professor e aluno para gerar e resolver problemas inéditos sem anotações externas, alcançando ganhos de desempenho consistentes em benchmarks de matemática e de raciocínio geral.

Autores originais: Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante que já memorizou todos os livros de matemática da biblioteca. Ele é ótimo em resolver problemas padrão, mas atingiu um teto. Ele não consegue melhorar porque parou de aprender coisas novas; ele apenas continua praticando os mesmos exercícios antigos.

Este é o problema que o artigo OpenSIR tenta resolver.

O Problema: A "Câmara de Eco" do Aprendizado

Os modelos de IA atuais (como os que alimentam o DeepSeek-R1 ou o OpenAI o1) são geralmente treinados usando Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Pense nisso como um aluno fazendo um teste padronizado onde um professor humano corrige cada resposta.

O Gargalo: Você precisa de milhares de exemplos anotados por humanos (professores corrigindo trabalhos) para fazer isso.
O Limite: Uma vez que o aluno domina os testes curados por humanos, ele para de melhorar. Ele não consegue ir além do "nível humano" porque está aprendendo apenas com o que os humanos já escreveram.

Alguns pesquisadores tentaram o Self-Play (Auto-Jogo), onde a IA joga contra si mesma para aprender. Imagine um jogador de xadrez jogando contra um clone de si mesmo.

A Falha: Métodos anteriores de auto-jogo falharam com modelos avançados. Por quê? Porque a IA continuava gerando os mesmos tipos de problemas que já conhecia. Era como um estudante que apenas pratica tabelas de multiplicação repetidamente, nunca tentando álgebra ou cálculo. Eles ficavam presos em um loop de "conceitos familiares".

A Solução: OpenSIR (O "Professor-Aluno Curioso")

Os autores apresentam o OpenSIR (Open-Ended Self-Improving Reasoner). É um framework onde um único modelo de IA desempenha dois papéis simultaneamente: O Professor e O Aluno.

Pense nisso como uma pessoa que é tanto o treinador da academia quanto o atleta, mas com um toque especial: ela está constantemente tentando inventar novos treinos que sejam desafiadores o suficiente para serem difíceis, mas não tão difíceis que sejam impossíveis.

Aqui está como o ciclo funciona, passo a passo:

1. A Semente (A Faísca)

Você começa com um problema incrivelmente simples, como "Quanto é 1 + 1?". Esta é a única entrada humana necessária.

2. O Trabalho do Professor (Inventando Novos Desafios)

A IA (atuando como o Professor) olha para a semente simples e tenta inventar um novo problema de matemática.

A Armadilha: Sem orientação, o Professor inventaria apenas "Quanto é 2 + 2?" e "Quanto é 3 + 3?" repetidamente.
A Correção (Recompensa de Diversidade): O OpenSIR dá ao Professor um "ponto bônus" por criar problemas que são diferentes de tudo o que ele já viu antes. É como um chef que recebe um bônus por inventar um prato com ingredientes que nunca usou juntos. Isso força a IA a explorar novos conceitos matemáticos (como cálculo, probabilidade ou otimização) em vez de repetir a aritmética.

3. O Trabalho do Aluno (Resolvendo o Desafio)

A IA (atuando como o Aluno) tenta resolver o novo problema que o Professor inventou.

A Armadilha: Se o Professor inventar um problema que seja muito difícil ou quebrado (por exemplo, faltando números), o Aluno não conseguirá resolver, e nenhum aprendizado ocorrerá.
A Correção (Calibração de Dificuldade): O OpenSIR verifica se o problema está "na medida certa". Ele usa uma "Pontuação de Solubilidade". Se o problema for muito fácil, é entediante. Se for muito difícil ou quebrado, é inútil. O sistema só recompensa problemas que são desafiadores, mas solucionáveis.

4. O Loop (Coevolução)

O Professor e o Aluno aprendem juntos.

À medida que o Aluno melhora na resolução de problemas, o Professor é forçado a inventar problemas mais difíceis e mais complexos para continuar obtendo esses "pontos bônus".
À medida que o Professor melhora na invenção de problemas complexos, o Aluno aprende a resolvê-los.
Eles impulsionam um ao outro, criando um ciclo interminável de aprendizado sem precisar que um humano corrija uma única folha de papel.

Por que é um Grande Avanço

O artigo testou isso em sete benchmarks de matemática e três testes de raciocínio geral. Aqui está o que aconteceu:

Superando a Linha de Base "Corrigida por Humanos": O OpenSIR começou com apenas um problema trivial ("1+1"). Apesar de ter zero dados de treinamento anotados por humanos, ele superou modelos treinados em mais de 7.000 exemplos corrigidos por humanos.
Corrigindo os Modelos "Travados": Métodos anteriores de auto-jogo na verdade tornavam os modelos avançados piores ou não ajudavam em nada. O OpenSIR consistentemente os melhorou.
Generalização: As habilidades aprendidas não foram apenas para matemática. Como a IA foi forçada a explorar conceitos diversos, ela também melhorou em tarefas de raciocínio geral (como enigmas de lógica).

O Segredo do Sucesso

O artigo descobriu que duas coisas eram absolutamente críticas:

Diversidade: Se você remover o "bônus por ser diferente", a IA para de aprender coisas novas e o desempenho cai.
Calibração: Se você não verificar se os problemas são solucionáveis, a IA começa a gerar absurdos, e o aprendizado para.

Em Resumo

O OpenSIR é como um carro autônomo que não apenas dirige na mesma estrada que aprendeu em um mapa. Em vez disso, ele inventa novas estradas, verifica se elas são dirigíveis, e aprende a dirigir nelas, tornando-se eventualmente um motorista melhor do que qualquer instrutor humano poderia ensinar a ser — tudo isso sem que um único humano precise dizer para onde virar.

Resumo Técnico: OpenSIR: Open-Ended Self-Improving Reasoner

Declaração do Problema

Avanços recentes no raciocínio de Grandes Modelos de Linguagem (LLMs), como o DeepSeek-R1 e o OpenAI o1, dependem fortemente de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) utilizando extensos conjuntos de dados anotados por humanos. Essa dependência cria um gargalo de escalabilidade e pode limitar o desempenho do modelo ao nível humano. Embora o self-play ofereça um caminho para superar o desempenho humano ao aprender com sinais de recompensa inequívocos (como visto em jogos como Go e Poker), aplicar isso ao raciocínio matemático enfrenta um obstáculo fundamental: problemas gerados carecem de respostas de verdade fundamental (ground-truth) para feedback.

Métodos de self-play existentes tentam contornar isso usando verificadores externos (ex: compiladores) ou sinais heurísticos (ex: votação majoritária). No entanto, quando aplicados a modelos que já passaram por um pós-treinamento significativo em dados curados por humanos, esses métodos produzem ganhos marginais ou até negativos. O artigo identifica uma limitação mais profunda: abordagens anteriores falham em suportar o aprendizado de código aberto (open-ended learning). Sem incentivos explícitos para a novidade, o componente "professor" do self-play colapsa em templates de problemas familiares, deixando de gerar novos sinais de aprendizado. Consequentemente, esses métodos não conseguem impulsionar modelos bem treinados além de suas capacidades atuais.

Metodologia: OpenSIR

Os autores propõem o Open-Ended Self-Improving Reasoner (OpenSIR), um framework de self-play onde uma única política $\pi_\theta$ alterna entre os papéis de professor (geração de problemas) e estudante (resolução de problemas) sem supervisão externa ou dados anotados. O framework faz o bootstrap a partir de um único problema semente trivial (ex: "Quanto é 1+1?").

Cada iteração de treinamento consiste em quatro fases:

Geração de Problemas: O professor gera $G$ novos problemas condicionados a problemas de referência amostrados de um pool acumulado.
Amostragem de Soluções: O estudante tenta múltiplas soluções por problema. Uma resposta de referência é determinada via votação majoritária, e uma "taxa de resolução" é calculada para medir a confiabilidade.
Pontuação (Scoring):
- Pontuação do Professor (Novidade): Os problemas são pontuados com base em Dificuldade e Diversidade.
  - Dificuldade: Medida via uma pontuação de solvabilidade (função triangular que atinge o pico em uma taxa de resolução ótima, ex: 0,5–0,9) e comprimento da solução (incentivando o raciocínio de múltiplos passos).
  - Diversidade: Medida via distância de embedding (distância de cosseno) entre o novo problema e o pool de problemas existentes para garantir a exploração de conceitos semanticamente novos.
- Pontuação do Estudante (Correção): Baseada na precisão da resposta analisada (parsed answer) em relação à resposta de referência e na formatação adequada.
Atualização do Modelo: A política é atualizada usando um objetivo do tipo Group Relative Policy Optimization (GRPO). Pares de problema-solução de alta qualidade são selecionados com base nos scores de novidade, com metade do lote alocado para o treinamento do professor e a outra metade para o treinamento do estudante.

Crucialmente, o OpenSIR emprega treinamento de papel duplo, onde tanto o professor quanto o estudante coevoluem. Isso permite que o professor calibre a dificuldade dos problemas dinamicamente conforme as capacidades do estudante melhoram, evitando a geração de problemas que sejam excessivamente fáceis ou difíceis (e, portanto, inválidos).

Principais Contribuições

Identificação de Modos de Falha: O artigo demonstra que métodos de self-play existentes falham em modelos com pós-treinamento avançado porque carecem de mecanismos para sustentar a novidade, levando à geração repetitiva de problemas e à degradação do desempenho.
Framework OpenSIR: A introdução do primeiro framework de self-play capaz de auto-melhoria aberta a partir de um único semente trivial. Ele otimiza conjuntamente a dificuldade do problema (calibração) e a diversidade (exploração) sem verificadores externos.
Superioridade Empírica: O OpenSIR melhora consistentemente o desempenho em sete benchmarks matemáticos (GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025) e três benchmarks de raciocínio geral (BBEH, MMLU-Pro, SuperGPQA).

Resultados

Os autores avaliaram o OpenSIR em sete benchmarks matemáticos (GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025) e três benchmarks de raciocínio geral (BBEH, MMLU-Pro, SuperGPQA).

Modelos de Instrução: No Llama-3.2-3B-Instruct e Llama-3.1-8B-Instruct, o OpenSIR alcançou ganhos médios de +3,99 e +3,27 no raciocínio matemático, respectivamente. Isso superou as bases de GRPO treinadas em >7.000 exemplos anotados por humanos (que ganharam +2,69 e +1,91) e outros métodos de self-play (Absolute Zero, R-Zero), que mostraram ganhos insignificantes ou negativos.
Modelos de Raciocínio: No DeepSeek-R1-Distill-Llama-8B e Qwen3-8B, o OpenSIR melhorou o raciocínio matemático em +3,71 e +2,41, respectivamente. Em contraste, as bases de GRPO baseadas em dados ofereceram ganhos mínimos, e outros métodos de self-play frequentemente degradaram o desempenho.
Transferência de Raciocínio Geral: O OpenSIR foi o único método a melhorar consistentemente as capacidades de raciocínio geral, com ganhos de +4,79 e +4,41 nos modelos de raciocínio. Isso sugere que o treinamento em problemas novos autogerados desenvolve habilidades de raciocínio transferíveis, não apenas proficiência matemática.
Estudos de Ablação:
- Recompensa de Diversidade: Remover a recompensa de diversidade reduziu a precisão matemática em ~2,7 pontos e o raciocínio geral em ~2,5 pontos, enquanto reduziu pela metade o número de conceitos únicos explorados.
- Treinamento de Papel Duplo: Treinar apenas o estudante (com um professor fixo) resultou em uma queda significativa de desempenho e instabilidade na dificuldade dos problemas, confirmando a necessidade da coevolução.
- Robustez da Semente: O método apresentou desempenho consistente independentemente de a semente inicial ser um problema aritmético trivial, um problema de geometria ou um problema de nível de competição.

Significância

O artigo afirma que o OpenSIR representa um paradigma convincente para o desenvolvimento de raciocínio matemático autônomo de código aberto. Ao combinar calibração de dificuldade e recompensas de diversidade, ele permite que os modelos expandam recursivamente suas capacidades além das fronteiras dos dados anotados por humanos.

Os autores enfatizam que esta abordagem elimina a dependência de extensos conjuntos de dados curados, que são um gargalo para a escalabilidade. Os resultados sugerem que os modelos podem efetivamente fazer o bootstrap do raciocínio matemático através da auto-melhoria recursiva, desde que o sistema seja explicitamente incentivado a explorar conceitos novos em vez de repetir os familiares. Embora o artigo note que o desempenho eventualmente estabiliza após o treinamento estendido, ele estabelece que o self-play orientado pela novidade é um caminho viável e necessário para levar os LLMs além do nível humano em tarefas de raciocínio.