LLMbench: A Comparative Close Reading Workbench for Large Language Models

1. O Problema

O artigo identifica uma lacuna crítica nas ferramentas atuais para avaliação de Modelos de Linguagem de Grande Escala (LLMs).

• Limitação das Ferramentas Atuais: A maioria das ferramentas de comparação (como o LLM Comparator do Google PAIR ou o Chatbot Arena) foca em avaliações quantitativas, métricas de classificação de usuários, taxas de vitória e benchmarks estatísticos. Elas tratam o texto gerado apenas como evidência para julgar o desempenho do modelo, não como um objeto de estudo em si.
• Falta de Hermenêutica: Não existe um ambiente de trabalho (workbench) que permita a "leitura atenta" (close reading) comparativa de saídas de LLMs sob a ótica das humanidades digitais. Falta uma ferramenta que trate o texto gerado não como um objeto fixo, mas como uma realização de uma distribuição de probabilidade, onde cada palavra escolhida poderia ter sido diferente.
• Subutilização de Dados Probabilísticos: Dados de log-probabilidade (logprobs), que revelam a incerteza do modelo e as alternativas consideradas em cada token, são raramente utilizados em análises humanísticas e sociais de IA, apesar de serem acessíveis via APIs comerciais.

2. Metodologia e Arquitetura

O autor propõe o LLMbench, uma ferramenta baseada em navegador construída para a "hermenêutica comparativa de IA".

• Tecnologia: Desenvolvido com Next.js 16 e React 19, hospedado no Vercel, utilizando o Vercel AI SDK para interface unificada com provedores (Anthropic, OpenAI, Google, Hugging Face, OpenRouter). A interface de texto utiliza o CodeMirror 6 (geralmente usado para código) para permitir anotações baseadas em linhas e uma "defamiliarização" do texto, tratando-o como um objeto de análise.
• Abordagem Hermenêutica: A ferramenta adota a premissa de que o texto gerado é uma amostra de uma distribuição de probabilidade. O objetivo é tornar legível não apenas o texto realizado, mas também o "histórico contrafactual" (as palavras não escolhidas e suas probabilidades).
• Métodos de Análise:
  • Comparação Lado a Lado: Duas respostas de modelos diferentes (ou o mesmo modelo) para o mesmo prompt são exibidas em painéis sincronizados.
  • Anotação: Baseada na metodologia de Critical Code Studies (Estudos Críticos de Código), com categorias como Observação, Pergunta, Metáfora, Padrão, Contexto e Crítica.
  • Dados de Log-probabilidade: A ferramenta solicita dados de logprobs das APIs para visualizar a incerteza do modelo em nível de token.

3. Contribuições Principais (Funcionalidades e Modos)

O LLMbench oferece seis modos operacionais que dividem-se entre leitura atenta e sondagens empíricas:

Modo Comparar (Close Reading)

Apresenta dois painéis com quatro camadas analíticas sobrepostas:

1. Probabilidades (Probs): Um mapa de calor contínuo sobre o texto. Cores frias indicam alta confiança; cores quentes (vermelho) indicam alta entropia/incerteza. Inclui:
   • Inspeção de Token: Ao clicar em um token, exibe a distribuição completa das alternativas consideradas (top-k) e a entropia.
   • Visualizações 3D e 2D: Gráficos de entropia (sparklines), mapas de pixels (visão geral espacial) e terrenos 3D de probabilidade para navegar pela incerteza.
2. Diferenças (Diff): Destaca palavras únicas em cada painel, permitindo ver divergências lexicais e estruturais.
3. Estrutura (Struct): Divide o texto em sentenças numeradas e destaca conectivos discursivos (ex: "portanto", "no entanto") para analisar a arquitetura argumentativa.
4. Tom (Tone): Aplica o modelo de metadiscursos de Ken Hyland (Hedges, Boosters, Limitadores, Marcadores de Atitude, etc.) para analisar a postura retórica e a confiança do modelo.

Modos de Análise (Sondagens Empíricas)

1. Variação Estocástica: Executa o mesmo prompt várias vezes no mesmo modelo para medir a consistência e a diversidade vocabular entre as gerações.
2. Gradiente de Temperatura: Testa o prompt em diferentes temperaturas (0.0 a 2.0) para observar como o aumento da aleatoriedade afeta a estrutura e o conteúdo.
3. Sensibilidade ao Prompt: Gera variações automáticas do prompt (ex: adicionar "por favor", mudar pontuação) para testar a fragilidade do modelo a pequenas mudanças.
4. Probabilidades de Token: Focado na análise profunda de uma única resposta, com histogramas de entropia e mapas de calor detalhados.
5. Divergência Cross-Model: Calcula métricas quantitativas (similaridade de Jaccard, sobreposição de palavras) entre dois modelos diferentes.

4. Resultados e Exemplos

O artigo utiliza um caso de estudo comparando o Gemini 2.0 Flash e o GPT-4o respondendo a um prompt sobre o ensaio de Italo Calvino, Cybernetics and Ghosts.

• Descoberta de Divergências Ocultas: A análise revelou que, embora os textos pareçam semelhantes superficialmente, as distribuições de probabilidade são drasticamente diferentes.
• Exemplo Concreto (Posição 26):
  • O Gemini escolheu a palavra "concerning" com apenas 11,76% de probabilidade (alta entropia de 2,315 bits), indicando que o modelo estava muito indeciso e poderia ter escolhido "the", "through" ou "in", alterando a estrutura gramatical da frase.
  • O GPT-4o, na mesma posição ordinal, escolheu "and" com 49,27% de probabilidade (entropia menor de 1,567 bits), indicando uma decisão mais firme e uma estrutura narrativa diferente (focada em biografia histórica vs. caracterização temática).
• Visualização de Incerteza: As ferramentas mostraram que a "incerteza" não é uniforme; alguns modelos são incertos em pontos onde outros são confiantes, revelando diferenças na "topografia" da geração de texto.

5. Significado e Conclusão

• Mudança de Paradigma: O LLMbench propõe uma mudança de foco da avaliação do modelo (quem é "melhor") para a leitura do texto gerado como um objeto probabilístico.
• Valor dos Logprobs: O artigo argumenta que os dados de log-probabilidade são um recurso subutilizado e essencial para estudos críticos de IA, permitindo ver "os caminhos não tomados" e entender onde o modelo estava comprometido com uma ideia versus onde estava apenas "rolando dados".
• Princípio Variorum: A ferramenta aplica o princípio do variorum (comparação de variantes) aos LLMs, tratando diferentes gerações como variantes de um mesmo texto potencial, revelando o que é determinístico e o que é contingente na geração de IA.
• Limitações: O autor reconhece que o acesso a logprobs não é universal (alguns provedores não expõem esses dados), que a tokenização varia entre modelos (dificultando comparações diretas de posição de token) e que a aplicação de frameworks de metadiscursos acadêmicos (Hyland) em texto de IA é experimental.
• Impacto: A ferramenta não fornece respostas automáticas, mas capacita o pesquisador a fazer as perguntas certas sobre a natureza probabilística da IA, tornando a estrutura interna do modelo legível para a crítica humanística.