Resumo Técnico: TokenScope

Declaração do Problema

Compreender os processos de tomada de decisão de Grandes Modelos de Linguagem (LLMs) durante a geração de código permanece um desafio significativo. Embora as ferramentas de interpretabilidade existentes ofereçam insights sobre os internos do modelo ou avaliação post-hoc, elas sofrem de limitações críticas:

• Falta de Sinais de Tempo de Decodificação: Elas raramente expõem medidas de incerteza em tempo real, candidatos a tokens alternativos ou margens de decisão durante o processo de geração.
• Problemas de Granularidade: Elas frequentemente tratam a geração como um resultado único, em vez de uma sequência de decisões interdependentes ao nível do token.
• Desconexão da Estrutura de Código: Elas tipicamente carecem de mecanismos para alinhar sinais internos do modelo (como atenção) com a semântica estrutural do código (ex: Árvores de Sintaxe Abstrata - AST).
• Natureza Estática: A maioria das ferramentas exige análise offline e vasta expertise, impedindo a exploração interativa de contrafatuais ou modos de falha.

Consequentemente, pesquisadores e profissionais carecem de infraestrutura para investigar sistematicamente onde a incerteza surge, como a atenção muda ao longo do tempo e como decisões locais ao nível do token se propagam em erros estruturais no código gerado.

Metodologia

Os autores introduzem o TokenScope, um ambiente de interpretabilidade e análise interativo projetado especificamente para LLMs baseados em decodificadores em tarefas orientadas a código. O sistema é construído sobre uma arquitetura modular de três componentes:

1. Servidor de Geração: Lida com a descoberta, carregamento e decodificação de baixo nível do modelo. Ele expõe modelos de decodificador único compatíveis com Hugging Face através de uma API de geração mínima.
2. Servidor de Orquestração: Coordena solicitações de geração, gerencia sessões de usuário, lida com estados de ramificação, computa métricas e serve APIs voltadas para o frontend.
3. Frontend Baseado na Web (React): Fornece visualizações interativas e controles para explorar o comportamento do modelo.

Mecanismos Principentes

• Instrumentação de Tempo de Decodificação: O TokenScope instrumenta o processo de decodificação para capturar sinais detalhados em cada etapa de geração, incluindo probabilidades de tokens, candidatos alternativos, pesos de atenção e métricas de incerteza derivadas. Estes são transmitidos para o frontend.
• Ramificação Interativa: Os usuários podem substituir qualquer token gerado por um candidato alternativo ou texto personalizado e continuar a geração a partir do prefixo modificado. O sistema mantém uma estrutura de ramificação para registrar prefixos compartilhados e continuações divergentes, permitindo a exploração de saídas contrafatuais.
• Análise Estrutural Consciente de Código: Usando parsers Tree-Sitter, o TokenScope mapeia tokens gerados para nós de Árvore de Sintaxe Abstrata (AST) (ex: expressões, instruções, funções). Isso permite a agregação de métricas de nível de token e sinais de atenção sobre unidades estruturais semanticamente significativas.

Métricas e Definições

O TokenScope expõe um conjunto de métricas quantitativas definidas como:

• Probabilidade do Token (Confiança): A probabilidade $p_t(y_t)$ atribuída ao token gerado.
• Surpresa do Token (Surprisal): Definida como $-log p_t(y_t)$, medindo o quão inesperado é um token dado o contexto.
• Confiança de Margem (Margin Confidence): A diferença entre a probabilidade do token mais provável e do segundo mais provável, refletindo a decisividade local.
• Entropia: Quantifica a incerteza sobre a distribuição de candidatos ($H_t = -\sum p_t(v) log p_t(v)$).
• Perplexidade da Sequência: Quantifica a imprevisibilidade média da sequência gerada completa.
• Massa de Atenção (Attention Mass): Mede quanto um token específico continua a influenciar decisões de decodificação posteriores, calculado como a média da atenção recebida de todos os tokens subsequentes através das cabeças de atenção.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Ferramenta TokenScope: Um ambiente interativo que expõe sinais de nível de token em tempo de decodificação para LLMs baseados em transformadores, focando especificamente na geração de código.
2. Métricas Integradas e Ramificação: Suporte para métricas de incerteza ao nível do token, saliência de atenção e ramificação interativa para geração contrafatual.
3. Análise Consciente de Código: A capacidade de alinhar sinais de nível de token com entidades de AST em múltiplos níveis de granularidade (modos Token, Expressão, Instrução, Linha e Bloco).
4. Ambiente Unificado: Um sistema que combina explicabilidade, interpretabilidade e exploração impulsionada pelo usuário, abordando as limitações de ferramentas que focam apenas em análise post-hoc ou sinais internos isolados.

Resultados e Capacidades

O artigo demonstra as capacidades do TokenScope através de visualizações e descrições funcionais, em vez de benchmarking quantitativo contra outras ferramentas. As principais capacidades demonstradas incluem:

• Visualização de Incerteza: Exibição de pontuações de confiança, entropia e surprisal como tokens coloridos e métricas plotadas (ex: visualizando a geração da função sort).
• Visualização de Atenção: Mostrar a massa de atenção por cabeça e a média entre as cabeças para revelar dependências de longo alcance.
• Exploração Contrafatual: Permitir que usuários substituam um token (ex: mudando return para print) e observem como a geração diverge do caminho original.
• Agregação Estrutural: Mostrar como as métricas podem ser agregadas do nível de token até o nível de bloco (ex: corpos de funções ou loops) para identificar regiões estruturalmente frágeis.

Significância e Alegações

Os autores posicionam o TokenScope como um ambiente prático para depuração, auditoria e compreensão de código gerado por LLM além da inspeção post-hoc. Sua significância reside em:

• Investigação Sistemática: Permitir o estudo de onde a incerteza surge durante a geração e como decisões locais se propagam em erros estruturais.
• Preenchimento de Lacuna: Unificar sinais de tempo de decodificação com análise estrutural de programas, o que é crítico para tarefas de código onde pequenas desvios de tokens podem levar a falhas sintáticas ou semânticas.
• Acessibilidade: Fornecer uma interface que não requer a profunda expertise técnica frequentemente necessária para frameworks de interpretabilidade mecanística, tornando a análise de nível de token acessível tanto para pesquisadores quanto para profissionais.

O artigo reconhece limitações, observando que atualmente visa modelos de decodificador único com probabilidades acessíveis (excluindo APIs fechadas), depende de parsers Tree-Sitter (atualmente limitado a Python) e é projetado como uma ferramenta de análise, não como um sistema de inferência de alto desempenho, devido ao overhead de extração de sinais detalhados. O código fonte é disponibilizado para facilitar estudos futuros.