Resumo Técnico: DISCOVERLLM

Formulação do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) atuais são predominantemente treinados para executar e elicitar intenções do usuário, operando sob a premissa de que os usuários iniciam interações com objetivos plenamente formados, embora por vezes não articulados. No entanto, em tarefas abertas, criativas e mal definidas (por exemplo, escrita, design), os usuários frequentemente carecem de intenções claras inicialmente. Em vez disso, eles descobrem o que desejam observando e explorando resultados potenciais. Abordagens existentes, incluindo ajuste fino de múltiplas voltas e estratégias de prompting, geralmente assumem que as intenções estão ocultas, mas estáticas, focando em trazê-las à tona por meio de perguntas de esclarecimento. Isso falha quando os usuários não conseguem responder a perguntas como "que tom você deseja?" porque ainda não formaram essa preferência. O desafio central é treinar modelos que não apenas elicitem intenções preexistentes, mas ajudem ativamente os usuários a descobrir e formar suas intenções por meio de exploração colaborativa.

Metodologia: O Framework DISCOVERLLM

Os autores propõem o DISCOVERLLM, um framework de treinamento generalizável que operacionaliza a descoberta de intenções como um problema distinto da eliciação de intenções. O framework baseia-se em um novo Simulador de Usuário que modela o estado cognitivo de um usuário com uma estrutura de intenções latente e hierárquica.

1. Descoberta de Intenção por Meio de Interação

O framework formaliza a formação de intenção como um processo progressivo de refinamento ($I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$).

• Hierarquia de Intenção Latente: As intenções do usuário são representadas como uma hierarquia em árvore ($H$), onde os nós variam de amplos (por exemplo, "inclui um animal") a específicos (por exemplo, "inclui um gato malhado dormindo no sofá").
• Estados de Descoberta: Os nós existem em estados de indescoberto, emergente ou descoberto. Um usuário só pode articular intenções que estão descobertas.
• Progressão Impulsionada por Resposta: A resposta do assistente ($r_t$) determina as transições de estado.
  • Engajamento Direto: Se a resposta perguntar explicitamente sobre ou satisfizer uma intenção, o nó torna-se descoberto.
  • Engajamento Tangencial: Se a resposta oferecer opções relacionadas, mas não correspondentes (por exemplo, sugerir um cachorro quando o usuário quer um gato), ela contribui para uma pontuação cumulativa. Ultrapassar um limiar avança o nó de indescoberto para emergente ou descoberto, modelando como os usuários estreitam preferências ao ver o que eles não querem.
• Restrição de Expressividade: Usuários na simulação só podem expressar intenções que descobriram. Se uma intenção estiver apenas emergente, o usuário só pode fornecer feedback vago (por exemplo, "talvez algo diferente"), impedindo que o modelo simplesmente peça detalhes específicos que o usuário ainda não pode fornecer.

2. Cálculo de Recompensa

O framework computa uma recompensa por turno ($R$) para orientar o treinamento:

• Progresso de Descoberta ($R_d$): Mede o aumento no número de intenções descobertas ($|I_{t+1}| - |I_t|$). Isso recompensa o modelo por trazer preferências latentes à tona.
• Penalidade de Eficiência ($R_e$): Penaliza o comprimento excessivo da resposta para incentivar interações concisas.
• Recompensa Total: $R(r_t) = R_d(r_t) + R_e(r_t)$. O design prioriza a descoberta primeiro, com a eficiência como uma restrição secundária.

3. Pipeline de Treinamento

Usando o simulador de usuário e a função de recompensa, o framework suporta múltiplos paradigmas de treinamento:

• Geração de Dados Sintéticos: Simular conversas para gerar conjuntos de dados de alta qualidade para Ajuste Fino Supervisionado (SFT).
• Otimização de Preferência: Criar comparações em pares (respostas escolhidas vs. rejeitadas) para Otimização Direta de Preferência (DPO).
• Aprendizado por Reforço Online: Otimizar modelos diretamente no sinal de recompensa usando algoritmos como PPO ou GRPO.

Contribuições Principais

1. Formalização da Descoberta de Intenção: O artigo distingue entre elicitar intenções ocultas e descobrir intenções não formadas, propondo um modelo formal onde a concretização da intenção é impulsionada pela exploração do espaço de soluções pelo assistente.
2. Simulador de Usuário Novel: Um simulador que modela estados cognitivos do usuário como uma hierarquia de intenções, permitindo o cálculo de recompensas para descoberta de intenções — uma capacidade anteriormente indisponível em configurações padrão de treinamento.
3. Framework de Treinamento: Um pipeline completo (SFT, DPO, RL) que ensina LLMs a equilibrar divergência (explorar opções para sondar intenções abstratas) e convergência (refinar saídas para satisfazer intenções concretas).

Resultados Experimentais

O framework foi avaliado em três domínios: Escrita Criativa, Escrita Técnica e Desenho SVG, usando Llama-3.1-8B-Instruct e Qwen3-8B como modelos base.

• Ganhos de Desempenho: O DISCOVERLLM alcançou mais de 10% de aumento na descoberta de intenções e 11% de aumento na satisfação de intenções em comparação com as melhores linhas de base (incluindo prompting e COLLABLLM).
• Eficiência: Reduziu o comprimento da conversa em até 40% enquanto mantinha ou melhorava o desempenho da tarefa.
• Interatividade: Os escores de interatividade aumentaram 83%, indicando colaboração mais eficaz.
• Análise Comportamental: Ao contrário de modelos base que tendem a ser puramente convergentes (revisando rascunhos únicos) ou modelos SFT que superajustam à divergência (oferecendo opções infinitas), as variantes do DISCOVERLLM demonstraram um padrão equilibrado de alternância entre exploração divergente e refinamento convergente.
• Generalização: A abordagem generalizou para domínios não vistos (planejamento de viagens, desenvolvimento web) e diferentes configurações de simulador (variando LLMs de base e regras de atualização).
• Estudo com Usuários: Em um estudo com 75 participantes humanos, o DISCOVERLLM resultou em escores mais altos de interação e satisfação com a escrita e reduziu o tempo de conclusão da tarefa em comparação com as linhas de base. Os participantes notaram que o modelo parecia "antecipar" suas intenções latentes.

Significado e Alegações

O artigo alega que o DISCOVERLLM representa uma mudança na IA centrada no humano, de modelos que simplesmente executam instruções para parceiros proativos que exploram e moldam problemas com os usuários. Ao abordar a realidade cognitiva de que os usuários frequentemente descobrem suas necessidades por meio da ação, em vez de pré-planejamento, o framework permite que a IA suporte tarefas mal definidas e abertas de forma mais eficaz. Os autores enfatizam que essa abordagem não compromete o alinhamento de segurança e oferece um método escalável para treinar modelos a colaborar em empreendimentos complexos e criativos onde a intenção do usuário é inicialmente fluida. O trabalho sugere que futuros sistemas de IA devem ser projetados para facilitar essa coevolução dos espaços de problema e solução, em vez de assumir objetivos de usuário estáticos.