Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

Resumo Técnico: Avaliando o Potencial Interativo das Respostas de Modelos de Linguagem

Declaração do Problema
As avaliações atuais de Grandes Modelos de Linguagem (LLMs) na busca de informações científicas são cada vez mais "centradas no uso", envolvendo interações ao vivo ou de múltiplos turnos com usuários reais. No entanto, essas avaliações assumem predominantemente uma interface de chat única e estática. À medida que os LLMs são integrados em novas interfaces maleáveis (por exemplo, ferramentas de leitura ou escrita com controles de manipulação direta), as estruturas de avaliação existentes falham em considerar critérios específicos da interface. Especificamente, há uma falta de metodologia para avaliar se os modelos podem gerar de forma confiável múltiplas respostas distintas para uma única consulta que variem ao longo de um eixo interpretável, como a complexidade da linguagem, para apoiar o controle do usuário. Enquanto o trabalho anterior focou em personalizar uma única resposta para um público específico, este artigo aborda a necessidade de avaliar a capacidade de um modelo de gerar uma gama de respostas que permitam ao usuário selecionar seu nível preferido de complexidade dinamicamente.

Metodologia
Os autores propõem uma nova estrutura de avaliação fundamentada em um estudo de usuário formativo e aplicada a uma avaliação de modelo em larga escala.

1. Estudo de Usuário Formativo (N=16):

   • Design: Um estudo intra-sujeito comparando uma interface de chat convencional com uma interface interativa apresentando um controle deslizante (slider) para ajustar a complexidade da linguagem (Níveis 1–5).
   • Tarefa: Os participantes (principalmente pesquisadores de STEM) exploraram tópicos de STEM desconhecidos.
   • Descobertas: Os usuários valorizaram a agência da complexidade interativa, mas observaram que as interfaces convencionais frequentemente forneciam complexidade inconsistente. Os participantes identificaram três impulsionadores principais da complexidade percebida: Jargão (familiaridade das palavras), Informação (quantidade de detalhes técnicos) e Extensão (comprimento). Eles também notaram que pequenas mudanças na complexidade eram frequentemente imperceptíveis, exigindo diferenças distintas entre os níveis.

2. Estrutura de Avaliação do Modelo:

   • Dados: O estudo utilizou 98 consultas científicas escritas por especialistas do ScholarQA-Multi (um subconjunto do ScholarQABench) através de cinco disciplinas de STEM (Biologia, Biofísica, Ciência da Computação, Fotônica, Física). Uma amostra maior de 459 consultas geradas via um pipeline de RAG também foi testada para verificar a robustez.
   • Modelos: Cinco modelos recentes foram avaliados: GPT-5.1, GPT-5 mini, Claude Sonnet 4.5, Claude Sonnet 4.5 + Thinking e DeepSeek-V3.1.
   • Protocolo de Geração: Para cada consulta, os modelos foram instruídos a gerar cinco versões de uma resposta, ancoradas a públicos específicos variando de "Estudante universitário" a "Pesquisador sênior" (e alternativamente de "Criança" a "Especialista").
   • Medidas de Complexidade: Três métricas foram definidas com base no estudo de usuário e na literatura prévia:
     • Jargão: Proporção de palavras que não constam na Lista de Palavras de Dale-Chall.
     • Informação: Contagem de "fatos atômicos" independentes identificados via um pipeline de LLM.
     • Extensão: Contagem total de caracteres.
   • Critério de Desempenho: O sucesso é definido não pela qualidade de uma única resposta, mas pela direcionalidade da mudança entre as versões. Um modelo apresenta bom desempenho se, à medida que a complexidade pretendida aumenta, as medidas de Jargão, Informção e Extensão aumentarem de forma consistente.

Principais Resultados
A avaliação revela que os LLMs atuais lutam para gerar níveis distintos de complexidade de forma confiável quando solicitados a fazê-lo:

• Ajuste de Complexidade Inconsistente: Embora os modelos variem a complexidade entre as respostas, as mudanças são frequentemente inconsistentes. Para o modelo de melhor desempenho (Claude Sonnet 4.5), a medida de Jargão aumentou na direção correta apenas 46% das vezes ao longo dos cinco níveis para uma única consulta. A medida de Informação foi ainda menor, em 33%.
• Extensão vs. Complexidade: Os modelos aumentaram consistentemente a Extensão conforme os níveis de complexidade subiam (frequentemente >98% das entradas). No entanto, esse aumento na extensão não correlacionou com aumentos em Jargão ou Informação. Em muitos casos, os modelos engajaram em "simplificação elaborativa", adicionando texto que explicava conceitos em linguagem mais simples, aumentando assim a extensão enquanto diminuíam a densidade técnica.
• Retornos Decrescentes nos Níveis Posteriores: Os modelos foram significativamente melhores em diferenciar a primeira transição (ex: Estudante universitário para Doutorando Júnior) do que as transições subsequentes. Por exemplo, o GPT-5 mini aumentou corretamente o Jargão para 87,76% das entradas na transição 1-para-2, mas isso caiu para cerca de 60% nas transições posteriores.
• Robustez das Descobertas: Esses achados mantiveram-se quando o tamanho da amostra foi aumentado para 459 consultas e quando as âncoras de audiência foram alteradas para um intervalo mais amplo (Criança a Especialista. Embora as métricas de desempenho tenham melhorado ligeiramente com intervalos de audiência mais amplos, os modelos ainda falharam frequentemente em mover as medidas de complexidade na direção correta, muitas vezes aproximando-se de níveis de acaso.

Significância e Contribuições
O artigo apresenta três contribuições primárias:

1. Uma Nova Estrutura de Avaliação: Introduz um método para avaliar LLMs com base em sua capacidade de gerar múltiplas versões distintas de uma resposta através de uma dimensão específica (complexidade de linguagem), em vez de avaliar uma única "melhor" resposta. Isso desloca o foco da personalização estática para o controle interativo do usuário.
2. Medidas de Complexidade Validadas: Estabelece um conjunto de três medidas (Jargão, Informação, Extensão) fundamentadas na percepção do usuário e em trabalhos anteriores, fornecendo um critério para avaliar a relação entre as versões da resposta.
3. Evidência Empírica de Limitações: O estudo demonstra que os modelos de estado da arte atuais frequentemente falham em ajustar as medidas de complexidade na direção correta através de múltiplas versões. Isso sugere que, embora os modelos possam gerar textos de extensões variadas, eles carecem do controle refinado necessário para suportar interfaces de manipulação direta onde os usuários esperam mudanças previsíveis e monotônicas na complexidade.

Os autores concluem que, embora as interfaces interativas ofereçam um paradigma promissor para o controle do usuário, as capacidades atuais dos LLMs são insuficientes para suportá-las de forma confiável sem uma melhoria significativa na geração de variações de múltiplos níveis consistentes. As descobertas destacam o hiato entre o potencial das interfaces maleáveis e a realidade atual do comportamento dos modelos.