Resumo Técnico: A Quem Consultar para Quê: Elicitação de Grupo Adaptativa via Interações de LLM de Múltiplos Turnos

Declaração do Problema

Pesquisas e avaliações coletivas visam inferir propriedades latentes da população (ex: inclinação política, perfis de habilidades) consultando um subconjunto de indivíduos. No entanto, restrições do mundo real — como o ônus do respondente, o tempo do entrevistador e os incentivos de participação — limitam o número de perguntas e respostas completadas, resultando frequentemente em dados esparsos e parcialmente observados.

Embora os Grandes Modelos de Linguagem (LLMs) permitam interações adaptativas de múltiplos turnos para otimizar o que perguntar, os métodos de elicitação existentes tipicamente assumem um conjunto de respondentes fixo. Eles falham em selecionar adaptativamente quem consultar ou em aproveitar a estrutura da população (ex: demografia, similaridade) quando as respostas estão incompletas. Isso cria um gargalo onde a eficiência não é maximizada porque as informações coletadas de alguns respondentes não se generalizam efetivamente para o grupo mais amplo sob orçamentos restritos.

Metodologia

Os autores propõem um framework para Elicitação de Grupo Adaptativa, um cenário de múltiplas rodadas onde um agente seleciona conjuntamente a próxima pergunta e um subconjunto de respondentes para consultar sob orçamentos explícitos de consulta e participação. O framework opera em um ciclo fechado combinando dois componentes principais:

1. Fase de Meta-Treinamento

• LLM para Inferência Preditiva: Um modelo de linguagem (ex: Llama-3.1-8B) é meta-treinado em históricos de interação para prever respostas individuais. Este modelo serve como um preditor robusto do comportamento individual, permitindo a quantificação da incerteza sobre uma entidade latente $U$ (ex: a verdadeira preferência de um respondente) com base no histórico observado. O objetivo de treinamento maximiza a verossimilhança da predição autorregressiva, evitando a necessidade de priors paramétricos sobre espaços latentes complexos.
• GNN Heterogênea para Simulação de Grupo: Para lidar com a esparsidade de dados, uma Rede Neural de Grafos (GNN) Heterogênea é empregada. O grafo contém três tipos de nós:
  • Membros do Grupo: Representando indivíduos.
  • Características: Representando atributos demográficos (ex: faixas de idade, gênero).
  • Escolhas: Representando pares (pergunta, opção).
    A GNN é treinada via predição de ligação para propagar informações através do grafo. Ela aprende embeddings que capturam estruturas relacionais, permitindo que impute respostas ausentes para indivíduos não consultados com base em sua similaridade com respondentes observados.

2. Inferência Adaptativa em Tempo de Teste

Em cada rodada de interação $t$, o sistema realiza um processo de seleção de dois estágios:

• Seleção de Consulta Adaptativa: O sistema seleciona uma pergunta $X_t$ que maximiza o Ganho de Informação Esperada (EIG) em relação à entidade latente do grupo. Usando o LLM meta-treinado, ele calcula a redução na entropia preditiva (incerteza) para o conjunto de avaliação retido caso uma pergunta específica fosse feita.
• Seleção de Respondente Relacional de Grupo: Em vez de consultar aleatoriamente, o sistema seleciona um subconjunto de respondentes $R_t$ para maximizar a diversidade e a representatividade. Ele agrupa os embeddings dos membros via GNN e seleciona centros de agrupamento. Isso garante que o subconjunto selecionado cubra o espaço de embedding, maximizando a utilidade do orçamento limitado.
• Imputação e Atualização de Crenças: Após coletar as respostas reais de $R_t$, a GNN atualiza a estrutura de seu grafo com novas arestas. Ela realiza a passagem de mensagens para refinar os embeddings dos nós e imputar respostas para membros não consultados. Essas respostas imputadas são adicionadas ao histórico de interação, informando a próxima rodada de seleção.

Principais Contribuições

1. Formalização: O artigo formaliza a elicitação de grupo adaptativa como um problema de decisão conjunta sobre perguntas e respondentes sob orçamentos de consulta e participação, abordando a lacuna nos métodos existentes que apenas otimizam a seleção de perguntas.
2. Proposta de Framework: Introduz uma instanciação prática que combina um objetivo de ganho de informação esperada baseado em LLM com propagação de GNN heterogênea. Isso permite a imputação de respostas ausentes e a seleção de respondentes representativos baseados em similaridade estruturada.
3. Justificativa Teórica:
   • A abordagem é fundamentada na perspectiva preditiva de de Finetti, tratando reduções na entropia preditiva como reduções na incerteza sobre a entidade latente.
   • Os autores provam que seu algoritmo de seleção gulosa (tanto conjunto quanto de dois estágios) alcança quase-otimalidade sob suposições padrão de submodularidade e monotonicidade, fornecendo uma garantia de fator constante em relação à sequência ótima.
4. Validação Empírica: O método é avaliado em três conjuntos de dados de opinião do mundo real (CES, OpinionQA, Twin-2k), demonstrando melhorias consistentes na predição de resposta ao nível da população sob orçamentos restritos.

Resultados Experimentais

O framework foi testado em três conjuntos de dados com orçamentos de respondentes variados (10%, 30%, 50%).

• Ganhos de Desempenho: O método proposto superou consistentemente os baselines (Meta-Random, Meta-Greedy e Meta-Greedy-Imp). Notavelmente, no conjunto de dados Cooperative Election Study (CES) com um orçamento de respondente de 10%, o método alcançou um ganho relativo de >12% na precisão de predição em comparação com o baseline mais forte.
• Análise de Componentes:
  • Seleção de Consulta: A seleção gulosa de consultas superou significativamente a seleção aleatória.
  • Imputação: A imputação baseada em GNN proporcionou ganhos substancialmente maiores do que a imputação apenas por LLM, destacando a necessidade de aproveitar a estrutura da população.
  • Seleção de Respondente: O método mostrou a maior recuperação relativa em respondentes "difíceis" (alta sensibilidade) — aqueles cujas respostas de verdade fundamental geram as maiores melhorias de desempenho. Isso indica que a estratégia visa efetivamente os indivíduos mais informativos.
• Planejamento vs. Guloso: O planejamento de múltiplos passos forneceu apenas ganhos marginais sobre a seleção gulosa, enquanto incorreu em custos computacionais substanciais, sugerindo que a seleção gulosa é suficiente para este cenário.
• Robustez: A abordagem permaneceu eficaz em diferentes escalas de modelos (Llama-3.1-8B vs. Llama-3.2-1B) e demonstrou generalização entre regiões geográficas (ex: políticas aprendidas na região Sul transferindo-se para o Oeste e o Meio-Oeste).

Significância e Alegações

O artigo afirma que uma elicitação eficaz depende não apenas de quais perguntas são feitas, mas criticamente de quem é observado e como a informação parcial é propagada pela população. Ao otimizar conjuntamente a seleção de consulta e a seleção de respondente via propagação de grafo estruturado, o framework permite a inferência de preferências latentes de grupos a partir de um subconjunto pequeno e informativo de indivíduos.

Os autores posicionam este trabalho como uma extensão principiada da elicitação adaptativa para cenários de grupo, indo além da inferência de nível individual para lidar com entidades latentes coletivas. Eles enfatizam que seu método alcança ganhos substanciais nas fases iniciais de elicitação, tornando-o particularmente valioso para cenários com orçamentos apertados onde pesquisas tradicionais frequentemente sofrem com dados ausentes e interrupções. O trabalho faz a ponte entre a interação de linguagem natural baseada em LLM e a inferência estatística estruturada, oferecendo uma solução escalável para a avaliação populacional de baixo custo.