💬 NLP

Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

Este artigo demonstra que Grandes Modelos de Linguagem ajustados podem mimetizar eficazmente a sensibilidade humana às distribuições de preferências de grupo para selecionar dinamicamente estratégias de agregação ideais, maximizando assim a satisfação, a equidade e o consenso em sistemas de recomendação de grupo.

Autores originais: Cedric Waterschoot, Nava Tintarev, Francesco Barile

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Cedric Waterschoot, Nava Tintarev, Francesco Barile

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e quatro amigos estão tentando decidir onde jantar. Todos vocês têm gostos diferentes: uma pessoa ama comida apimentada, outra odeia, e uma terceira só quer a opção mais barata. No mundo da ciência da computação, isso é chamado de um Sistema de Recomendação de Grupo (GRS). Por muito tempo, os computadores tentaram resolver isso usando fórmulas matemáticas rígidas. Algumas fórmulas dizem: "Vamos apenas tirar a média dos votos de todos". Outras dizem: "Vamos escolher o lugar que deixa a pessoa menos infeliz feliz". Essas fórmulas são como um chef robô que segue uma receita perfeitamente, mas não tem ideia se a comida realmente tem um gosto bom para o grupo específico sentado à mesa.

O problema é que esses robôs não conseguem "sentir" o humor do grupo. Eles não conseguem dizer se um grupo está em grande concordância (um consenso) ou se está dividido em duas facções que brigam (uma coalizão). Para corrigir isso, os pesquisadores Cedric Waterschoot, Nava Tintarev e Francesco Barile decidiram ensinar um computador a agir como um juiz humano.

O Juiz Robô Recebe um Upgrade no Cérebro

A equipe começou com um robô "professor", uma IA massiva chamada DeepSeek-V3.1, que é tão inteligente que consegue gerar raciocínios diversos. Eles alimentaram esse professor com uma enorme pilha de dados de um estudo anterior, onde 1.152 humanos reais avaliaram recomendações de grupo sobre o quão justas, satisfatórias e consensuais elas pareciam ser.

Em vez de apenas memorizar as pontuações, os pesquisadores pediram ao professor para explicar por que ele deu aquelas notas. Era como pedir a um professor para escrever um ensaio detalhado sobre por que um aluno tirou um A, em vez de apenas escrever "A" no papel. Eles usaram o professor para gerar 5.318 exemplos de raciocínio sintético baseados nas pontuações humanas existentes. Isso criou um conjunto de treinamento especial onde a IA aprendeu a imitar a lógica por trás das opiniões humanas, não apenas as opiniões em si.

Depois, eles pegaram dois robôs menores de código aberto (Llama-3.1 e OLMo-3) e os ensinaram usando esses ensaios. Esses novos robôs, chamados Judgmental Llama e Judgmental Olmo, aprenderam a imitar sentimentos humanos. Antes desse treinamento, os robôs eram juízes terríveis; eles davam respostas muito estreitas e chatas que não correspondiam às opiniões humanas reais. Após o treinamento, eles se tornaram muito melhores em adivinhar como um grupo se sentiria, combinando com a dispersão das opiniões humanas quase perfeitamente.

O Grande Teste: O Robô Pode Escolher a Melhor Estratégia?

Os pesquisadores construíram um sistema onde, para cada grupo de amigos, o computador não escolhia apenas uma receita. Em vez disso, ele executava seis fórmulas matemáticas diferentes (como "Média", "Menor Miséria" e "Voto da Maioria") para gerar seis sugestões de jantar diferentes.

Então, o robô Judgmental Olmo (que acabou sendo o melhor aluno) entrava em cena. Ele olhava para todas as seis sugestões e perguntava a si mesmo: "Se eu fosse um humano neste grupo específico, qual delas eu acharia a mais justa e satisfatória?". Ele escolhia o vencedor com base em seus sentimentos humanos.

Para ver se isso realmente funcionava, a equipe realizou um experimento real com 284 participantes humanos. Eles mostraram a essas pessoas cenários de grupo (como um grupo de cinco amigos com gostos diferentes) e pediram que avaliassem as recomendações.

Os Resultados: O Juiz Robô Vence (Às Vezes)

Os resultados foram empolgantes, mas específicos. O sistema que usou o Judgmental Olmo para escolher dinamicamente a melhor estratégia teve a pontuação mais alta para percepção de justiça e consenso do grupo. Também obteve a segunda maior pontuação para satisfação, ficando logo atrás de uma fórmula matemática específica chamada "Justiça" (FAI).

No entanto, o artigo deixa muito claro que o robô não é uma varinha mágica que funciona da mesma forma sempre. O sucesso do robô dependeu fortemente do tipo de grupo.

Para grupos que eram todos semelhantes (uniformes): O robão sabia escolher estratégias que deixassem todos felizes.
Para grupos que estavam divididos (coalizionais) ou tinham uma minoria: O robô percebia que as fórmulas matemáticas usuárias muitas vezes falhavam. Ele mudava de marcha e escolhia estratégias diferentes que lidavam melhor com o conflito.

Os dados mostraram uma interação estatisticamente significativa entre o tipo de grupo e a estratégia utilizada. Em outras palavras, a capacidade de adaptação do robô foi o que o tornou melhor do que os métodos estáticos antigos. Por exemplo, em grupos "coalizionais" (onde dois subgrupos discordam), a escolha do robô foi percebida como significativamente mais justa do que as estratégias de "Voto da Maioria" ou "Voto de Aprovação".

O Que o Robô Ainda Não Consegue Fazer (Ainda)

O artigo é cuidadoso ao apontar o que este sistema não é ainda.

Não é um avanço para todos os problemas: Os pesquisadores afirmam explicitamente que seu sistema é atualmente limitado a cenários específicos (como escolher restaurantes) e depende de dados de estudos anteriores. Eles não alegam que ele funciona para qualquer problema de recomendação de grupo no mundo ainda.
Não é instantâneo: Como o robô tem que executar vários "experimentos mentais" (gerando cinco avaliações por recomendação) para ter certeza, isso leva tempo. Em um aplicativo de tempo real, isso poderia significar um atraso de vários minutos, o que é muito lento para um grupo de amigos famintos.
Não é perfeito: Os robôs base (antes do treinamento) eram enviesados e limitados. O treinamento ajudou, mas os pesquisadores admitem que depender de um modelo "professor" para gerar os dados de treinamento pode introduzir uma dependência. Eles sugerem que trabalhos futuros precisam treinar com o raciocínio humano real, não apenas com o raciocínio simulado por IA.

A Conclusão

Este artigo sugere que podemos construir melhores sistemas de recomendação de grupo ensinando a IA a entender a nuance dos sentimentos humanos, em vez de apenas processar números. Ao permitir que um juiz de IA treinado escolha a melhor fórmula matemática para o grupo específico com o qual está lidando, obtemos recomendações que parecem mais justas e consensuais.

Mas, os autores nos alertam para não ficarmos animados demais ainda. O sistema é ainda uma simulação e um protótipo. Ele precisa ficar mais rápido (usando robôs "minúsculos") e precisa ser testado em mais tipos de grupos antes que possamos confiar a ele a escolha do nosso jantar. Por enquanto, é um passo muito promissor em direção a computadores que entendem que, às vezes, a melhor resposta matemática não é aquela que faz a maioria das pessoas feliz, mas aquela que faz as pessoas certas felizes.

Resumo Técnico: Consenso vs. Dissidência: Modelagem Dinâmica de Preferências Subjetivas em Recomendadores de Grupo via LLM

Declaração do Problema
Os Sistemas de Recomendação de Grupo (GRS) enfrentam o desafio inerente de reconciliar preferências individuais conflitantes em um único resultado de grupo. As abordagens tradicionais dependem de estratégias de agregação baseadas em escolha social estática (ex: Média, Menor Miséria, Maior Prazer) para unir avaliações individuais e resultados de grupo. Embora esses métodos sejam computacionalmente eficientes e transparentes, eles carecem de adaptabilidade às nuances das dinâmicas de grupo, como a distribuição de preferências (ex: consenso uniforme vs. dissidência coalizional). Existe uma lacuna significativa entre a avaliação desses sistemas — onde estudos humanos avaliam a percepção de justiça, satisfação e consenso — e sua implementação. Os sistemas atuais carecem de um mecanismo escalável para prever como um grupo específico se sentirá em relação a uma recomendação em tempo real, impedindo a seleção dinâmica da estratégia de agregação ideal baseada em métricas humanas subjetivas.

Metodologia
Os autores propõem um pipeline que integra Grandes Modelos de Linguagem (LLMs) ajustados para atuar como "juízes" para selecionar dinamicamente a melhor estratégia de agregação para um determinado cenário de grupo. A metodologia consiste em três fases primárias:

Preparação de Dados e Destilação de Conhecimento:
- Fonte: O processo começa com um conjunto de dados de verdade fundamental humana ( $n=1.152$ avaliações) de estudos de usuários anteriores (Barile [4], Barile et al. [5]), onde os participantes avaliaram recomendações de grupo em termos de justiça, satisfação e consenso usando uma escala Likert de 7 pontos.
- Expansão Sintética: Para lidar com a escassez de dados para treinamento, os autores empregaram Destilação de Conhecimento. Um modelo professor de alta capacidade (DeepSeek-V3.1) foi utilizado para gerar o raciocínio de Cadeia de Pensamento (CoT - Chain-of-Thought) sintético para a verdade fundamental humana existente. Isso expandiu o conjunto de treinamento de 890 instâncias para 5.318 amostras, capturando justificativas diversas para pontuações idênticas, preservando ao mesmo tempo as pontuações humanas originais.
- Ajuste Fino (Fine-Tuning): Dois modelos de código aberto, Llama-3.1-8B-Instruct e OLMo-3-7B-Instruct-SFT, foram ajustados neste conjunto de dados aumentado utilizando Parameter-Efficient Fine-Tuning (LoRA). Uma função de mascaramento de rótulos personalizada foi aplicada para garantir que os modelos aprendessem a replicar o processo de raciocínio e as pontuações, em vez da estrutura do prompt.
Avaliação por LLM:
- Os modelos ajustados ("Judgmental Llama" e "Judgmental Olmo") foram avaliados contra os modelos base e a verdade fundamental humana usando a Distância de Wasserstein (Distância do Transportador) para medir o alinhamento distributivo.
- O Judgmental Olmo emergiu como o modelo superior, alcançando a menor Distância de Wasserstein em todas as três métricas (justiça, satisfção e consenso) e replicando a variância ( $\sigma > 1,55$ ) encontrada nas respostas humanas.
Pipeline de GRS Dinâmico:
- O pipeline gera recomendações para um grupo usando seis estratégias distintas baseadas em escolha social: Utilitarista Aditivo (ADD), Votação de Aprovação (APP), Justiça (FAI), Menor Miséria (LMS), Maioria (MAJ) e Maior Prazer (MPL).
- Para cada resultado potencial, o LLM ajustado gera múltiplas avaliações (simulando um comitê de cinco avaliadores) para prever justiça, satisfação e consenso.
- O sistema calcula a média dessas pontuações e seleciona dinamicamente a estratégia de agregação que maximiza a avaliação de aparência humana para aquela configuração específica de grupo.
Validação por Estudo de Usuário:
- Um estudo de usuário ( $n=284$ ) foi conduzido para comparar a seleção dinâmica baseada em LLM contra as seis estratégias estáticas.
- O estudo utilizou uma ANOVA de delineamento misto com a configuração do grupo (uniforme, divergente, minoria, coalizional) como fator intra-sujeito e a estratégia de agregação como fator entre-sujeitos.

Principais Contribuições

Conjunto de Dados de Raciocínio Destilado: Criação de um conjunto de dados fundamentado em avaliações humanas de justiça, satisfação e consenso, aumentado com raciocínio sintético gerado pelo DeepSeek-V3.1.
Modelos de Julgamento (Judgmental Models): Introdução do "Judgmental Llama" e "Judgmental Olmo", modelos especificamente ajustados para simular avaliações de grupo e alinhar-se com a distribuição da verdade fundamental humana.
Pipeline Dinâmico: Desenvolvimento de um pipeline de GRS de ponta a ponta que utiliza esses modelos para selecionar dinamicamente estratégias de agregação com base em previsões de avaliações humanas, em vez de regras estáticas.
Validação Empírica: Um estudo de usuário demonstrando que a abordagem dinâmica supera as linhas de base estáticas em termos de justiça percebida e consenso, com interações significativas observadas conforme a configuração do grupo.

Resultados

Alinhamento do Modelo: O ajuste fino reduziu significativamente a Distância de Wasserstein entre as saídas do modelo e a verdade fundamental humana. O Judgmental Olmo alcançou o melhor alinhamento (WD: 0,70 para justiça, 0,68 para satisfação, 0,82 para consenso) em comparação com os modelos base, que exibiram distâncias elevadas e distribuições de saída estreitas.
Desempenho no Estudo de Usuário: A seleção dinâmica baseada em LLM alcançou as maiores médias para justiça percebida (0,82) e consenso percebido (0,81), e a segunda maior para satisfação (0,68), superando todas as estratégias estáticas (ADD, APP, FAI, LMS, MAJ, MPL).
Efeitos de Interação: A análise estatística revelou efeitos de interação significativos entre a configuração do grupo e a estratégia de agregação ( $p < ,001$ $p <, 001$ ). O método dinâmico foi particularmente eficaz em cenários complexos:
- Em grupos coalizionais, o LLM superou significativamente as estratégias APP e ADD em termos de justiça e consenso.
- Em grupos de minoria, a seleção do LLM proporcionou satisfação significativamente maior do que as estratégias MAJ e MPL.
- O sistema identificou corretamente que o "Maior Prazer" (MPL) era ideal apenas para grupos uniformes, enquanto outras estratégias eram mais adequadas para grupos divergentes ou coalizionais.

Significância e Alegações
O artigo alega que sua metodologia consegue preencher a lacuna entre a agregação matemática estática e as percepções subjetivas e matizadas de grupos humanos. Ao utilizar LLMs ajustados na verdade fundamental humana, o sistema pode adaptar as estratégias de agregação para distribuições específicas de preferências dentro do grupo (ex: lidando com dissidência em grupos coalizionais vs. consenso em grupos uniformes).

Os autores afirmam que esta abordagem oferece uma alternativa escalável e em tempo real para avaliar recomendações de grupo através de estudos de usuários. Os achados apoiam a hipótese de que adaptar dinamicamente as estratégias de agregação com base em julgamentos gerados por LLM que mimetizam o comportamento humano leva a recomendações que são percebidas como mais justas e consensuais do que aquelas produzidas por estratégias fixas e estáticas. O trabalho destaca que dados de ajuste fino de qualidade são essenciais para alinhar LLMs com o julgamento humano, uma vez que os modelos base sozinhos falham em capturar a nuance e a diversidade necessárias das respostas humanas.

O Juiz Robô Recebe um Upgrade no Cérebro

O Grande Teste: O Robô Pode Escolher a Melhor Estratégia?

Os Resultados: O Juiz Robô Vence (Às Vezes)

O Que o Robô Ainda Não Consegue Fazer (Ainda)

A Conclusão

Mais como este