💬 NLP

CoAct: Co-Active LLM Preference Learning with Human-AI Synergy

O artigo apresenta o CoAct, um novo framework que combina aprendizado por auto-recompensa e aprendizado ativo através de colaboração estratégica entre humanos e IA para superar a escassez de dados de preferência de alta qualidade, resultando em melhorias significativas no desempenho de modelos de linguagem em tarefas de raciocínio.

Autores originais: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

Publicado 2026-04-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruiyao Xu, Mihir Parmar, Tiankai Yang, Zhengyu Hu, Yue Zhao, Kaize Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente (um Modelo de Linguagem, ou LLM) a resolver problemas de matemática e lógica. O problema é que, para ele aprender de verdade, ele precisa de um professor humano para corrigir suas respostas e dizer: "Isso aqui está certo, aquilo ali está errado".

Mas, contratar professores humanos para corrigir milhões de exercícios é caríssimo e demorado. É como tentar ensinar uma criança a andar de bicicleta apenas com a ajuda de um professor particular para cada passo que ela dá.

Aqui entra o COACT, a solução proposta neste artigo. Vamos explicar como ele funciona usando uma analogia simples: O Estágio do "Estagiário Esperto" e o "Chefe Experiente".

O Problema: A Dilema do Orçamento

Existem duas formas principais de tentar resolver isso, e ambas têm defeitos:

O "Estagiário que se julga sozinho" (Self-Rewarding): O robô gera respostas e se corrige sozinho. É rápido e barato, mas ele pode criar ilusões. Se ele errar uma vez, ele pode acreditar que está certo e continuar errando, reforçando o erro. É como um aluno que estuda sozinho, mas se engana em tudo e acha que está brilhante.
O "Chefe que corrige tudo" (Active Learning): Você pede para o professor humano corrigir apenas as perguntas mais difíceis ou onde o robô está mais confuso. Isso garante qualidade, mas o professor tem pouco tempo (orçamento limitado). O robô acaba ignorando milhares de outras perguntas que poderiam ser úteis.

A Solução: COACT (A Sinergia Humano-AI)

O COACT é como criar uma equipe perfeita onde o robô e o professor humano trabalham juntos de forma inteligente, dividindo as tarefas para que ninguém perca tempo.

Aqui está o passo a passo do processo, como se fosse uma escola:

1. O Robô Tenta Várias Vezes (Consistência)

Para cada pergunta, o robô não dá apenas uma resposta. Ele gera 8 respostas diferentes (como se fosse um aluno fazendo o mesmo exercício 8 vezes de formas diferentes).

A Mágica: Se o robô consegue chegar à mesma resposta correta em 7 das 8 tentativas, ele está muito confiante. Se as respostas forem todas diferentes, ele está confuso.

2. A Triagem Inteligente (Dividindo as Tarefas)

Aqui é onde o COACT brilha. Ele separa as perguntas em dois grupos:

Grupo A: O "Aluno Confiante" (Alta Consistência)
- O robô acertou quase todas as tentativas.
- O Truque: Mesmo sendo "confiante", ele pode estar errado de forma consistente (um erro teimoso). O COACT usa uma "lente de aumento" (chamada de k-NN) para ver se essa pergunta é muito diferente das que o robô já sabe resolver.
- Decisão: Se a pergunta parece estranha ou fora do comum, o robô manda para o Professor Humano corrigir. Se parece normal e segura, o robô confia em si mesmo e usa essa resposta para treinar.
Grupo B: O "Aluno Confuso" (Baixa Consistência)
- O robô deu 8 respostas diferentes e não sabe qual é a certa.
- Decisão: Essas são as perguntas que precisam urgentemente do Professor Humano. O COACT manda essas para o humano corrigir.

3. O Professor Humano (O Oráculo)

O professor humano recebe apenas as perguntas que realmente precisam de ajuda:

As perguntas onde o robô estava confuso.
As perguntas onde o robô parecia confiante, mas estava "fora do comum" (risco de erro teimoso).

Isso significa que o professor não perde tempo corrigindo o que o robô já sabe fazer bem, nem perde tempo com o que o robô claramente não entende. Ele foca no que traz mais valor.

4. O Ciclo de Aprendizado (O "Efeito Borboleta")

Depois que o professor corrige algumas perguntas, ele não apenas ensina o robô a responder aquelas. Ele usa as respostas corretas como exemplos para pedir ao robô: "Agora, crie novas perguntas parecidas com essas que você já sabe resolver!".

Isso cria um ciclo virtuoso: o robô gera novas perguntas dentro da sua capacidade, aprende com elas e fica cada vez melhor.

Por que isso é incrível? (Os Resultados)

O artigo testou esse método em desafios de matemática e física (como o GSM8K e o MATH). O resultado foi impressionante:

O COACT superou todos os outros métodos.
Em matemática básica (GSM8K), a pontuação subiu em 13% em média.
Em problemas complexos, também houve grandes ganhos.

A Analogia Final:
Imagine que você está montando um time de futebol.

O método antigo era: ou você deixava o time jogar sozinho (e eles faziam os mesmos erros) ou você pedia ao técnico para corrigir cada chute (e o técnico ficava exausto).
O COACT é como ter um assistente de vídeo (IA) que analisa os lances. Ele diz: "Técnico, olhe apenas para esses 3 lances onde o time está confuso ou jogando de um jeito estranho. Os outros 97 lances, o time já jogou bem, vamos usar eles para treinar a estratégia."

Isso permite que o time (o modelo de IA) aprenda muito mais rápido, com menos custo e com muito mais qualidade, usando a força da inteligência artificial combinada com a sabedoria humana apenas onde ela é realmente necessária.

Título: COACT: Aprendizado de Preferência de LLMs Co-Ativo com Sinergia Humano-AI

1. O Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) com preferências humanas é crucial para tarefas como raciocínio, instrução e criatividade. No entanto, existem dois desafios fundamentais:

Escassez e Custo de Dados: Dados de preferência de alta qualidade, anotados por humanos, são caros e limitados.
Limitações das Abordagens Atuais:
- Auto-recompensa (Self-rewarding): Usa o próprio LLM para gerar e rotular dados. É escalável, mas propenso a viés e amplificação de erros (o modelo reforça seus próprios equívocos).
- Aprendizado Ativo (Active Learning): Seleciona as amostras mais informativas para anotação humana (ou por um "Oracle"). Garante qualidade, mas desperdiça a vasta quantidade de dados não rotulados restantes devido a orçamentos de anotação restritos.

O dilema central é: Como alcançar uma eficiência de dados superior para o alinhamento de LLMs, aproveitando a sinergia entre a escalabilidade da IA e a qualidade da supervisão humana?

2. Metodologia: O Framework COACT

O COACT (Co-Active Preference Learning) é um framework iterativo que combina estratégias de auto-recompensa e aprendizado ativo através de uma colaboração estratégica entre Humano e IA. O processo opera em três etapas principais a cada iteração:

A. Construção de Preferência por Auto-Consistência (Self-Consistency)

Para cada instrução não rotulada, o modelo gera $k$ respostas diversas.
Utiliza-se uma função de consistência para identificar a resposta mais frequente (escolhida) e a menos frequente (rejeitada).
As amostras são divididas em dois subconjuntos baseados na pontuação de consistência:
- Alta Consistência: Respostas onde o modelo é confiante.
- Baixa Consistência: Respostas onde o modelo é incerto.

B. Seleção Estratégica de Dados para Anotação do Oracle (Human/AI Expert)
O orçamento limitado de anotação ( $M$ ) é distribuído estrategicamente entre os dois subconjuntos:

Seleção de Baixa Consistência: As amostras com as menores pontuações de consistência são enviadas ao Oracle, pois representam os casos mais incertos do modelo.
Seleção de Alta Consistência (Detecção de Erros Ocultos): Mesmo com alta consistência, o modelo pode cometer erros sistemáticos (alinhados, mas errados). Para identificar isso, o COACT utiliza uma métrica de distância k-NN (k-Nearest Neighbors).
- Calcula-se a distância entre as representações latentes das amostras de alta consistência e um conjunto de dados "in-distribution" (verificados corretamente em iterações anteriores).
- Amostras com grande distância k-NN (possivelmente Out-of-Distribution ou erros auto-consistentes) são enviadas ao Oracle para verificação.

C. Augmentation de Instruções Guiada pelo Oracle

O feedback do Oracle não serve apenas para rotular dados, mas também para gerar novas instruções.
O modelo usa exemplos verificados pelo Oracle como demonstrações in-context para gerar novas instruções que estão dentro da sua capacidade de resolução ("solvable capability").
Essas novas instruções passam pelo mesmo processo de auto-consistência para criar pares de preferência adicionais.

D. Atualização do Modelo

O modelo é atualizado usando uma função de perda modificada de DPO (Direct Preference Optimization).
A função combina pares rotulados pelo Oracle e pares auto-rotulados (da IA), incluindo um termo de regularização de verossimilhança (NLL) para estabilizar o treinamento.

3. Contribuições Principais

Framework Híbrido Co-Ativo: Propõe a primeira integração sistemática de auto-recompensa e aprendizado ativo, onde o feedback humano (Oracle) guia tanto a seleção de dados difíceis quanto a geração de novos dados viáveis.
Detecção de Erros Auto-Consistentes: Introduz o uso de distância k-NN para identificar erros que o modelo comete consistentemente, mitigando o risco de reforço de viés comum em métodos puramente de auto-recompensa.
Geração de Dados dentro da Capacidade do Modelo: Utiliza exemplos verificados para expandir o conjunto de treinamento com instruções que o modelo consegue resolver, aumentando a eficiência do aprendizado.
Fundamentação Teórica: Apresenta um teorema provando que a supervisão mista (Oracle limpo + Ruído da IA) supera o treinamento apenas com Oracle, desde que a taxa de erro da IA seja inferior a 50%.

4. Resultados Experimentais

O COACT foi avaliado em dois modelos (Llama3-8B e Qwen3-4B) e três benchmarks de raciocínio (GSM8K, MATH, WebInstruct).

Desempenho Geral: O COACT superou consistentemente todas as linhas de base (Random, Entropy, Pref Certainty, etc.).
- GSM8K: Melhoria média de +13,25%.
- MATH: Melhoria média de +8,19%.
- WebInstruct: Melhoria média de +13,16%.
Comparação com Baselines: Na iteração final, o COACT superou a melhor linha de base em 4 a 8 pontos percentuais.
Generalização Out-of-Domain: O modelo treinado com COACT demonstrou forte generalização em benchmarks não vistos (GPQA e MMLU-Pro), superando todas as outras abordagens.
Correlação Consistência-Acurácia: Foi observada uma forte correlação de Pearson (até 0,97) entre a pontuação de auto-consistência e a acurácia real, validando o uso da consistência como proxy de qualidade.

5. Significado e Impacto

O trabalho do COACT resolve o dilema fundamental do alinhamento de LLMs: o trade-off entre escalabilidade (gerar muitos dados) e qualidade (garantir precisão).

Eficiência de Recursos: Permite treinar modelos de alto desempenho com orçamentos de anotação humana significativamente menores, maximizando o uso de dados não rotulados.
Robustez: Ao identificar e corrigir erros auto-consistentes, o método evita que o modelo "alucine" em padrões errados, um problema comum em métodos puramente autônomos.
Aplicabilidade: Oferece uma solução prática para cenários com recursos limitados, demonstrando que a colaboração estratégica entre humanos e IA é superior a abordagens isoladas.

Em resumo, o COACT estabelece um novo paradigma para o aprendizado de preferências, onde a IA não apenas gera dados, mas também identifica onde a intervenção humana é mais crítica e como expandir o conhecimento do modelo de forma segura e eficiente.