🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

Este artigo apresenta o DITTO, um modelo treinado por meio de aprendizado por reforço com feedback verbal para simular melhor o comportamento humano, juntamente com a suíte de benchmarks SOUL, demonstrando melhorias significativas de desempenho em relação aos modelos base e superando o GPT-5.4 em múltiplas tarefas de simulação humana.

Autores originais: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Publicado 2026-05-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Ensinar IA a "Agir como Humano" Conversando com Ela

Imagine que você está ensinando uma criança a se comportar em uma festa de jantar.

O Jeito Antigo (Recompensas Escalares): Você dá à criança uma nota de "6 em 10" depois que ela termina de comer. Você não diz a ela por que ela tirou 6. Ela falou demais? Usou o garfo errado? Derrubou a sopa? Ela não tem ideia de como melhorar, então apenas chuta na próxima vez.
O Jeito Novo (Feedback Verbal): Você a senta e diz: "Você se saiu muito bem com o guardanapo, mas falou por cima da sua avó, e isso foi rude. Da próxima vez, espere ela terminar de falar."

Este artigo argumenta que os modelos de IA atuais (LLMs) estão sendo treinados como a criança que recebe uma nota de "6". Eles são bons em matemática e programação porque essas coisas têm respostas claras de certo/errado (como uma nota de prova). Mas quando pedimos à IA para simular comportamento humano—como atuar como um paciente, um estudante ou um amigo—notas simples não funcionam. Humanos aprendem normas sociais através de palavras, explicações e correções, não números.

Os autores construíram um novo sistema chamado DITTO que ensina a IA a agir como humana usando esse método de "feedback verbal".

Como o DITTO Funciona: O Jogo de "Rascunho e Polimento"

Pense no DITTO como um workshop de escrita criativa onde a IA é tanto o aluno quanto o editor. Aqui está o processo:

O Primeiro Rascunho (O Aluno): A IA tenta responder a um prompt (por exemplo, "Atue como um professor rabugento"). Ela escreve uma resposta.
A Crítica (O Juiz): Uma IA "juíza" poderosa lê o rascunho e dá feedback verbal. Ela não diz apenas "Bom trabalho". Ela diz: "Você foi muito educado. Um professor rabugento seria mais impaciente. Além disso, você esqueceu de mencionar a lição de casa."
O Segundo Rascunho (O Professor): A IA pega esse feedback específico e escreve uma nova versão aprimorada da resposta.
A Lição (A Magia): O sistema treina a IA para olhar o prompt original e gerar imediatamente a versão melhorada, sem precisar mais do texto do feedback. É como o aluno ler as anotações do professor, corrigir o ensaio e, em seguida, memorizar a sensação de como escrever um bom ensaio para não precisar das anotações na próxima vez.

O Resultado: A IA aprende a "internalizar" o conselho. Quando você conversa com ela mais tarde, ela age mais como humana porque aprendeu por que certos comportamentos são melhores, não apenas que são melhores.

O Campo de Treino: SOUL (Ginásio de Simulação)

Para testar se isso realmente funciona, os pesquisadores construíram um ginásio gigante chamado SOUL (Ginásio de Simulação de Comportamento Semelhante ao Humano).

Imagine um ginásio com 10 estações diferentes, cada uma testando um tipo diferente de habilidade "humana":

Teoria da Mente: A IA consegue entender que outra pessoa sabe algo que ela não sabe? (Como um jogo de esconde-esconde).
Interpretação de Papéis: Ela consegue atuar como um personagem específico de um livro sem quebrar o personagem?
Habilidades Sociais: Ela consegue navegar em uma conversa para atingir um objetivo (como pedir um aumento) sem ser rude?
Simulação de Usuário: Ela consegue fingir ser um cliente confuso falando com um suporte técnico?

Eles descobriram que os modelos de IA existentes frequentemente falhavam nesses testes. Eles soavam muito robóticos, muito perfeitos ou muito semelhantes entre si.

Os Resultados: O DITTO Vence o Ginásio

Os pesquisadores testaram seu novo modelo (DITTO) contra os melhores modelos existentes (incluindo gigantes de grandes empresas de tecnologia).

A Pontuação: O DITTO melhorou 36% em comparação com o modelo básico.
O Confronto: O DITTO venceu o modelo de ponta "GPT-5.4" em 6 dos 10 desafios.
Onde Brilhou: Ele foi especialmente bom em tarefas que exigem nuances, como habilidades sociais e interpretação de papéis. Aprendeu a guardar segredos melhor e a lidar com conversas complexas sem ficar "preso" ou soar falso.

Por Que Isso Importa (Segundo o Artigo)

O artigo afirma que, para tornar a IA verdadeiramente útil na simulação de pessoas (como em bots de terapia, tutores educacionais ou treinamento de atendimento ao cliente), precisamos parar de tratá-las como alunos de matemática que precisam apenas de uma nota. Temos que tratá-las como seres sociais que precisam de explicações.

Ao usar feedback verbal (palavras) em vez de apenas recompensas escalares (números), a IA aprende a textura do comportamento humano. Ela aprende que ser "rude" não é apenas uma nota baixa; é uma maneira específica de falar que fere sentimentos.

Em resumo: O DITTO é uma IA que aprendeu a agir como humana ouvindo críticas detalhadas de um professor, praticando as correções e, em seguida, esquecendo as anotações do professor porque finalmente "entendeu".

Resumo Técnico: Reforço da Simulação de Comportamento Humano via Feedback Verbal

Declaração do Problema
Os simuladores atuais de comportamento humano baseados em Modelos de Linguagem de Grande Escala (LLM) sofrem com lacunas sistemáticas "Sim2Real", exibindo saídas homogêneas, vieses cognitivos desalinhados e comportamentos sobre-humanos que divergem dos usuários reais. Uma limitação primária reside no paradigma de treinamento: métodos padrão de Aprendizado por Reforço (RL) (por exemplo, RLHF, DPO, GRPO) comprimem todo o feedback em recompensas escalares ou preferências binárias. Embora eficazes para domínios com correção verificável (por exemplo, código, matemática), as recompensas escalares falham em capturar a nuance necessária para a simulação de comportamento humano, que é subjetiva, multifacetada e dependente do contexto. Os seres humanos aprendem normas sociais não a partir de pontuações, mas de feedback verbal — explicações, correções e diálogo. Abordagens existentes que tentam incorporar feedback verbal frequentemente dependem de ajuste fino supervisionado (SFT) ou reflexão no momento da inferência, carecendo da capacidade de exploração do RL ou falhando em atualizar os pesos do modelo efetivamente a partir da experiência.

Metodologia: DITTO
Os autores propõem o DITTO, um modelo treinado tratando o feedback verbal como um sinal de primeira classe dentro de um framework de Aprendizado por Reforço. A inovação central é um loop de treinamento que gera melhorias condicionadas ao feedback e as otimiza conjuntamente com a política base, permitindo que o modelo internalize a orientação sem exigir feedback no momento da inferência.

O processo de treinamento para um determinado prompt $x$ procede da seguinte forma:

Geração de Rascunho (Draft Rollout): A política $\pi_\theta$ gera uma resposta inicial $y_0$ .
Geração de Feedback: Um juiz LLM avalia $y_0$ , produzindo uma recompensa escalar $r_0$ e feedback verbal estruturado $h$ (incluindo críticas e reflexões sobre dimensões como credibilidade, manutenção de relacionamentos e alcance de objetivos).
Geração Refinada (Refined Rollout): A política gera uma segunda resposta $y_1$ condicionada ao prompt e ao feedback ( $x, h$ ).
Otimização Conjunta: Tanto $y_0$ $y_{0}$ quanto $y_1$ $y_{1}$ são otimizados usando Otimização de Política Relativa de Grupo (GRPO).
- Uma vantagem relativa ao grupo é computada sobre o conjunto de gerações originais e refinadas.
- Um objetivo GRPO padrão com corte ( $L_{group}$ ) é aplicado ao grupo conjunto para incentivar a política base a aprender com as melhorias.
- Um objetivo adicional ( $L_{fb}$ ) é aplicado especificamente às gerações condicionadas ao feedback para melhorar a capacidade do modelo de responder ao feedback diretamente.
- A perda final é $L = L_{group} + L_{fb}$ .

Crucialmente, o feedback verbal $h$ é tratado como informação privilegiada: está disponível durante o treinamento para guiar a geração de $y_1$ e otimizar a política, mas não é necessário durante a inferência. O objetivo é que a política base internalize o comportamento do "professor" (a $y_1$ aprimorada) em seu processo de geração padrão.

Benchmark SOUL
Para facilitar o treinamento e a avaliação, os autores introduzem o SOUL (Simulation gym Of hUman-Like behavior), um conjunto unificado de benchmark e dados de treinamento. O SOUL aborda o gargalo da falta de dados de treinamento para simulação humana fornecendo divisões de treinamento de RL curadas para 10 tarefas em seis categorias:

Teoria da Mente: FanToM, HiToM, ToMi.
Interpretação de Personagens: CoSER, LifeChoices.
Habilidade Social: Sotopia.
Simulação de Aprendiz: Mistakes.
Simulação de Usuário: MirrorBench, UserLLM.
Simulação de Persona: TwinVoice.

O conjunto cobre formatos discriminativos (múltipla escolha), generativos (diálogo aberto) e interações multi-turno/multi-agente.

Principais Resultados
Os experimentos foram conduzidos utilizando um modelo base Qwen3-8B.

Desempenho: O DITTO alcançou uma pontuação normalizada média de 0,726 em todas as tarefas do SOUL, representando uma melhoria de 36% sobre o modelo base.
Comparação com o Estado da Arte: O DITTO superou o modelo fechado de fronteira GPT-5.4 em 6 de 10 benchmarks, incluindo todas as três tarefas de Teoria da Mente e ambas as tarefas de Simulação de Usuário. Também superou consistentemente baselines especializadas em simulação humana (por exemplo, Sotopia-RL, HER).
Ablação: O mecanismo de feedback verbal proporcionou ganhos consistentes sobre o GRPO padrão, com as maiores melhorias observadas em tarefas generativas e de múltiplos turnos (por exemplo, +14 pontos em TwinVoice, +11 em ToMi).
Segurança: A análise mostrou que o feedback verbal ajudou a mitigar riscos de segurança. Enquanto o GRPO padrão degradou-se em dimensões de "manutenção de segredos" durante a otimização, o DITTO preservou melhor a capacidade de manter segredos, provavelmente devido à orientação explícita fornecida no feedback verbal.

Significado e Alegações
O artigo alega que ir além das recompensas escalares em direção a um feedback verbal mais rico é uma direção promissora para treinar simuladores mais semelhantes a humanos. O significado do trabalho reside em três contribuições principais:

Feedback Verbal como Sinal: Demonstrar que o feedback verbal fornece orientação acionável e específica por dimensão que melhora a velocidade de aprendizado e reduz riscos de segurança (como vazamento de segredos) em comparação com recompensas escalares.
Arquitetura DITTO: Introduzir um método que destila o feedback verbal na política base por meio de gerações condicionadas ao feedback, alcançando ganhos significativos de desempenho com um modelo de 8B que iguala ou supera modelos fechados maiores.
Benchmark SOUL: Fornecer o primeiro ambiente unificado de treinamento e avaliação para comportamento semelhante ao humano em diversos formatos de tarefa, abordando a falta crítica de dados de treinamento neste domínio.

Os autores concluem que sua abordagem permite que a política base internalize orientações ricas e acionáveis, sugerindo que o RL com feedback verbal é um caminho viável para fechar a lacuna Sim2Real na simulação de comportamento humano.