No mundo da inteligência artificial, os pesquisadores há muito dominam a arte de ensinar computadores a resolver problemas com respostas claras, de certo ou errado. Se uma máquina é solicitada a resolver uma equação matemática ou escrever uma linha de código, ela pode ser testada instantaneamente; a resposta está correta ou não está. Essa clareza permitiu que os modelos aprendessem rapidamente, refinando suas habilidades por meio de ciclos intermináveis de tentativa e erro. No entanto, as interações mais significativas entre humanos e máquinas ocorrem frequentemente em áreas onde não existe uma única resposta correta. Quando um computador atua como um tutor, um conselheiro ou um parceiro criativo, a qualidade de sua resposta depende de contexto, emoção e valores culturais. Um conselho é empático? Uma ideia de história é original e apropriada? Essas perguntas são "fracamente verificáveis", o que significa que não podem ser checadas por uma fórmula simples. Elas exigem o julgamento humano, que é lento, caro e difícil de escalar. Sem uma maneira confiável de verificar a qualidade, ensinar uma inteligência artificial a se destacar nessas tarefas centradas no ser humano tem sido um gargalo persistente.

Uma equipe de pesquisadores da Universidade Normal do Leste da China e da Universidade de Ciência e Tecnologia de Hong Kong propôs uma nova maneira de navegar por essa incerteza. Eles desenvolveram um framework chamado Agentic Data Evolution, ou ADE, que trata a criação de dados de treinamento não como um evento único, mas como um processo contínuo e vivo. Em vez de gerar uma lista massiva de respostas e esperar que as melhores sobrevivam, o sistema organiza os dados em "instantâneos" (snapshots) que evoluem ao longo do tempo. Ele utiliza uma equipe de agentes de inteligência artificial especializados para observar uma resposta atual, propor variações e, em seguida, selecionar rigorosamente apenas aquelas mudanças que representam uma melhoria genuína. Esse processo é projetado para agir como uma válvula de segurança, evitando que o sistema acidentalmente derive para um desempenho pior enquanto tenta melhorar. Ao aplicar este método a cenários educacionais — focando especificamente em como um tutor pode apoiar os valores, as emoções e a criatividade de um aluno — os pesquisadores descobriram que poderiam elevar constantemente a qualidade das respostas da IA sem a necessidade de um humano verificar cada etapa individualmente.

O desafio central que a equipe abordou é o que acontece quando você tenta melhorar o comportamento de uma IA em tarefas onde não consegue medir o sucesso facilmente. Nos métodos tradicionais, os pesquisadores podem gerar muitas variações de uma resposta e escolher a melhor baseando-se em uma verificação rápida. Mas quando os critérios são complexos, como "apoio emocional" ou "inovação criativa", uma verificação rápida pode ser enganosa. Uma resposta pode parecer mais fluida ou mais confiante, mas na verdade oferecer uma orientação menos útil. Os pesquisadores descobriram que, sem um processo de seleção cuidadoso, as melhorias iterativas podem levar a "regressões silenciosas", onde o modelo piora ao longo do tempo sem que ninguém perceba, porque as mudanças parecem superficialmente positivas. Para resolver isso, eles construíram um sistema de ciclo fechado que imita uma evolução constante e cautelosa.

O processo começa com um conjunto de perguntas e respostas iniciais, que servem como ponto de partida. O sistema entra então em um ciclo de observação, variação e seleção. Primeiro, um agente observa uma pergunta específica e sua resposta atual, identificando exatamente onde a resposta falha com base em objetivos específicos, como se ela respeita os sentimentos de um aluno ou incentiva o pensamento criativo. Em seguida, o sistema gera novas versões da resposta. Ele faz isso de duas maneiras: um agente faz pequenos ajustes cuidadosos para corrigir fraquezas imediatas sem alterar a estrutura geral, enquanto outro agente assume riscos maiores, reorganizando a resposta para resolver problemas mais profundos. Isso cria um pequeno grupo de candidatos: a resposta original, uma revisão conservadora e uma revisão agressiva.

A parte mais crítica do sistema é a fase de seleção, que atua como um rigoroso porteiro. Antes que qualquer nova versão seja aceita, ela é comparada diretamente com a original. O sistema faz uma pergunta simples, porém rigorosa: esta nova versão é claramente melhor? Se a evidência for ambígua, ou se a nova versão for apenas ligeiramente diferente, mas não definitivamente superior, o sistema rejeita a mudança e mantém a resposta original. Esta regra de "estado estável" garante que os dados só avancem quando houver prova de melhoria, agindo efetivamente como uma catraca que impede que a qualidade caia. As tentativas rejeitadas não são descartadas inteiramente; os motivos de seu fracasso são registrados e usados para guiar as próximas rodadas de tentativas, ajudando o sistema a aprender o que não fazer.

Para testar se este método realmente funcionou, os pesquisadores o aplicaram a um conjunto de dados de 10.000 perguntas e respostas educacionais, focando em três objetivos centrados no ser humano: ajudar os alunos a navegar por escolhas morais, fornecer apoio emocional e fomentar a inovação criativa. Eles submeteram o sistema a múltiplas rodadas de evolução, criando uma série de conjuntos de dados aprimorados. Eles então mediram os resultados de três maneiras distintas. Primeiro, observaram a qualidade intrínseca das respostas, comparando as versões evoluídas com as originais. Descobriram que, com cada rodada de evolução, as respostas tornaram-se significativamente melhores, com a taxa de vitória das respostas aprimoradas subindo de 50 por cento no conjunto inicial para quase 76 por cento após várias rodadas.

Segundo, testaram se essas melhorias realmente ajudavam o modelo de IA quando colocado em prática. Eles treinaram um modelo de linguagem com os dados evoluídos e o testaram em um conjunto separado de 300 perguntas que o modelo nunca havia visto antes. Os resultados mostraram uma clara transferência de habilidade: o modelo treinado com os dados evoluídos venceu 68,86 por cento das comparações contra um modelo treinado com os dados originais. Isso provou que as melhorias não eram apenas mudanças superficiais que o sistema apreciava, mas melhorias genuínas na forma como o modelo lidava com tarefas educacionais complexas. Finalmente, para garantir que o sistema não estava apenas enganando a si mesmo, trouxerem especialistas humanos para avaliar as respostas cegamente. Os especialistas preferiram as respostas evoluídas 66,11 por cento das vezes, confirmando que o processo automatizado estava alinhado com o julgamento humano.

O estudo também explorou se esses ganhos eram específicos para as tarefas educacionais ou se ajudavam o modelo em outras áreas. Eles testaram o modelo aprimorado em problemas matemáticos e na detecção de linguagem tóxica, ambos com respostas objetivas e claras. Mesmo nesses campos não relacionados, o modelo treinado com os dados evoluídos apresentou um desempenho melhor, mostrando um aumento pequeno, mas consistente, na precisão. Isso sugere que o processo de evoluir cuidadosamente os dados para objetivos centrados no ser humano fortalece a capacidade geral do modelo de raciocinar e alinhar-se com os valores humanos, em vez de apenas ensiná-lo a imitar um estilo específico de tutoria.

Os pesquisadores reconhecem que seu método exige mais poder computacional do que abordagens mais simples, pois envolve múltiplos agentes trabalhando em um ciclo. No entanto, eles argumentam que esse custo é necessário para evitar o risco de o modelo derivar para um desempenho ruim. Ao tratar os dados como algo que pode evoluir e ser refinado ao longo do tempo, em vez de um recurso estático a ser gerado uma única vez, eles demonstraram um caminho prático para ensinar à inteligência artificial as habilidades sutis e dependentes de contexto que definem a interação humana. O trabalho sugere que, para as tarefas mais difíceis e importantes, a chave para o progresso não reside em gerar mais dados, mas em evoluir os dados que já possuímos com paciência e precisão.