YIELD: A Large-Scale Dataset and Evaluation Framework for Information Elicitation Agents

Resumo Técnico: YIELD – Dataset e Framework para Agentes de Elicitação de Informações

1. O Problema

A maioria dos agentes conversacionais (CAs) atuais é projetada para interações dirigidas pelo usuário, onde o agente reage passivamente para satisfazer necessidades ou tarefas iniciadas pelo usuário (ex.: reservas de viagem, recomendações). No entanto, muitos cenários do mundo real — como entrevistas acadêmicas, processos judiciais e investigações jornalísticas — exigem um paradigma diferente: a Elicitação de Informações.

Nesses contextos, o objetivo do agente não é apenas responder, mas proativamente extrair informações de um respondente para atender a objetivos institucionais ou de tarefas específicas. O desafio reside no fato de que:

• O espaço de ação é de alta dimensão (cada fala pode mudar a direção da conversa).
• Não há uma "pergunta ótima" única; o agente deve escolher caminhos que maximizem o valor cumulativo da informação revelada.
• Existe uma escassez crítica de dados públicos e éticos para treinar esses agentes, além da falta de métricas adequadas para avaliar o sucesso da eliciação (que difere de métricas tradicionais como BLEU ou sucesso de tarefa).

2. Metodologia

O trabalho propõe uma abordagem estruturada em três pilares principais:

A. O Dataset YIELD (Information-Elicitation Learning Dialogues)

• Escala e Origem: Um dataset de grande escala contendo 2,281 diálogos humanos (26 milhões de tokens), totalizando 390.205 turnos.
• Domínios: Os dados cobrem quatro áreas distintas:
  1. Entrevistas Acadêmicas.
  2. Investigações Jornalísticas.
  3. Diálogos Judiciais.
  4. História Oral.
• Ética: Todos os dados são provenientes de repositórios de domínio público ou com licenças Creative Commons, garantindo usabilidade legal.
• Pré-processamento: Envolveu limpeza manual extensiva para padronizar falantes, remover ruído e estruturar os diálogos em pares de "Elicitador" (agente) e "Respondente".

B. Formalização do Problema (POMDP)
Os autores formalizam a eliciação de informações como um Processo de Decisão de Markov Parcialmente Observável (POMDP) de horizonte finito:

• Estado Latente ($X_t$): Representa as informações ocultas do respondente (conhecimento, opiniões).
• Ação ($A_t$): A fala do elicitador.
• Observação ($O_{t+1}$): A resposta do respondente.
• Estado de Crença: Em vez de manter uma distribuição de probabilidade explícita sobre estados ocultos (impossível em linguagem natural), o estado é representado pelas representações ocultas token-a-token geradas por um modelo de linguagem causal.

C. Treinamento e Otimização

• Aprendizado por Reforço Offline (ORL): Utilizam o algoritmo Advantage-Weighted Regression (AWR).
• Sinal de Recompensa: Uma recompensa proxy baseada em novidade factual. O agente é recompensado quando a resposta do usuário introduz entidades ou fatos que não foram mencionados anteriormente na conversa (medido via NER - Reconhecimento de Entidades Nomeadas).
• Fine-tuning: Aplicação de Parameter-Efficient Fine-Tuning (PEFT) usando LoRA (Low-Rank Adaptation) em modelos base (Llama-3.1-8B, DeepSeek-R1, Llama-3.2-3B), mantendo o modelo base congelado e treinando apenas os adaptadores e a "cabeça de valor".

D. Novas Métricas de Avaliação
O paper introduz métricas específicas para IEAs, indo além da coerência conversacional:

1. Conformidade: Mede o quanto o modelo gera diálogos com padrões distribucionais semelhantes aos humanos (Perplexidade e Comprimento da Resposta).
2. Progressão ($P$): Quantifica se a conversa avança para novos tópicos ou estagna. Calculada pela distância cosseno média entre embeddings de falas consecutivas (com decaimento temporal).
3. Razão de Comprimento de Turno (TLR): Compara a verbosidade do elicitador vs. respondente. Em eliciação eficaz, o elicitador deve ser conciso e o respondente, expansivo (TLR > 1).

3. Resultados Principais

Os experimentos piloto compararam modelos Prompt-only, Supervised Fine-Tuning (SFT) e Offline Reinforcement Learning (ORL):

• Alinhamento Comportamental: Modelos ajustados (SFT e ORL) demonstraram um alinhamento significativamente superior com o comportamento humano em comparação aos modelos apenas com prompt.
  • Perplexidade: Os modelos ajustados reduziram drasticamente a perplexidade (ex.: de ~46 para ~12 no Llama-3.1-8B), indicando que aprendem melhor o estilo linguístico dos elicitadores humanos.
  • Comprimento: Modelos prompted tendiam a ser excessivamente verbosos (ex.: 39.5 tokens vs. 11.6 tokens reais). Modelos ajustados aprenderam a fazer perguntas curtas e estratégicas.
• Progressão e TLR:
  • Modelos ajustados reproduziram a assimetria correta (TLR > 1), onde o elicitador fala menos e o respondente fala mais.
  • A métrica de Progressão mostrou que modelos ajustados evitam a estagnação em tópicos, mantendo a conversa em movimento, enquanto modelos prompted tendiam a repetir informações.
• Avaliação Humana:
  • Trabalhadores humanos (MTurk) avaliaram que os modelos ajustados geram perguntas que se assemelham mais à distribuição de diálogos reais, embora, paradoxalmente, tenham recebido pontuações absolutas ligeiramente menores do que os modelos prompted (que eram mais longos e "polidos", mas menos realistas em termos de dinâmica de eliciação).

4. Contribuições Chave

1. YIELD Dataset: O primeiro dataset de grande escala, eticamente licenciado e específico para agentes de eliciação de informações, superando em tamanho e complexidade (média de 171 turnos por diálogo) datasets existentes como MultiWOZ ou SGD.
2. Novo Paradigma de Agente: Definição formal e prática dos Information Elicitation Agents (IEAs) como uma classe distinta de CAs, focada em objetivos institucionais e extração ativa de dados.
3. Framework de Avaliação: Proposta de métricas específicas (Conformity, Progression, TLR) que capturam a dinâmica de eliciação, não apenas a qualidade da resposta isolada.
4. Validação de ORL: Demonstração de que o Aprendizado por Reforço Offline com recompensas mínimas (novidade factual) é competitivo com o Supervised Fine-Tuning (SFT) para alinhar modelos com comportamentos humanos complexos de longo prazo.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na pesquisa de IA conversacional, movendo o foco de agentes reativos para agentes proativos com objetivos institucionais.

• Aplicações Práticas: O framework é diretamente aplicável a ferramentas de apoio a jornalistas, investigadores, recrutadores e profissionais jurídicos.
• Ética e Segurança: O paper aborda cuidadosamente os riscos éticos (viés, perguntas tendenciosas, privacidade) e propõe mitigações, como restrições de estratégia de perguntas e supervisão humana em contextos de alto risco.
• Futuro da Pesquisa: Estabelece uma base para pesquisas futuras em otimização de recompensas mais sofisticadas (além da novidade factual) e avaliações interativas com respondentes ao vivo.

Em suma, o YIELD fornece os dados, a formalização teórica e as ferramentas de avaliação necessárias para desenvolver agentes de IA capazes de conduzir conversas complexas com o objetivo de descobrir informações ocultas, mimetizando a eficácia de elicitadores humanos.