Resumo Técnico: TREETRACER – Expondo o Não Dito via Agregação Estocástica de Caminhos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) geram texto através de processos estocásticos, produzindo uma distribuição de probabilidade sobre possíveis próximos tokens em vez de um único resultado determinístico. Os métodos atuais de auditoria de viés enfrentam limitações significativas neste contexto:

• Insuficiência de Saída Única: Abordagens padrão frequentemente dependem da inspeção de uma única sequência gerada ou de métricas automatizadas estáticas (ex: perplexidade, BLEU). Esses métodos obscurecem as distribuições de probabilidade subjacentes e falham em capturar vieses ocultos em ramos de geração de baixa probabilidade.
• Limitações de Templates Estáticos: Conjuntos de dados de viés fundamentais frequentemente utilizam templates de frases rígidos e predefinidos. Pesquisas indicam que estes falham em capturar a diversidade de contextos do mundo real e variações sintáticas onde o viés se manifesta naturalmente, muitas vezes provocando comportamentos sintáticos padrão em vez de revelar associações semânticas reais.
• Escalabilidade de Visualização: Ferramentas de análise visual existentes para geração de texto (ex: Árvores de Busca de Feixe/Beam Search Trees) lutam para resumir centenas de caminhos de geração estocásticos complexos em uma visão condensada e legível sem perder detalhes estruturais ou clareza cognitiva.

O desafio central é desenvolver um método que automatize a geração e a classificação semântica de casos de teste diversos, permitindo simultaneamente que avaliadores humanos analisem visualmente distribuições de probabilidade agregadas para detectar danos representacionais sistêmicos.

Metodologia: Pipeline TREETRACER

O artigo apresenta o TREETRACER, uma abordagem de análise visual projetada para avaliar o viés de LLMs através de comparação agregada. O sistema emprega um pipeline de perturbação sistemática consistindo em seis etapas computacionais:

1. Aumentação de Prompt e Injeção de Ontologia:

   • O sistema isola variáveis semânticas em um prompt base ao substituir um token alvo por substitutos extraídos de uma ontologia semântica (ex: "Nomes Masculinos" vs. "Nomes Femininos").
   • As ontologias são geradas via consultas BFS no ConceptNet ou por LLMs ajustados por instrução.
   • Um mecanismo de Human-in-the-Loop permite que usuários editem, removam ou criem ontologias customizadas para evitar ambiguidade circular e garantir o controle humano sobre os parâmetros analíticos.

2. Geração de Texto e Alinhamento de Tokens:

   • O sistema executa a geração de texto para todos os prompts aumentados usando inferência local ou APIs externas.
   • Ele registra o texto gerado, a probabilidade ao nível do token e metadados.
   • Fusão de Subwords (Subword Token Merging): Para lidar com tokenizadores de subpalavras (ex: BPE), o pipeline funde os tokens de subpalavras de volta em palavras inteiras, calculando a média geométrica de suas probabilidades para evitar penalizar palavras mais longas.

3. Parsing de Constituintes:

   • Os outputs gerados são analisados por árvores de constituintes usando a biblioteca NLP Stanza para criar uma representação gramatical unificada.
   • Um algoritmo de alinhamento mapeia as etiquetas de classes gramaticais (part-of-speech) do parser de volta aos tokens originais de espaço em branco para resolver discrepâncias de tokenização.

4. Agrupamento Estrutural (Structural Clustering):

   • Para abordar a poluição visual, o sistema remove o conteúdo lexical das árvores para criar "strings esqueléticas" (apenas tags estruturais).
   • Esses esqueletos são agrupados usando agrupamento aglomerativo com Distância de Edição de Árvore (TED) ou heurísticas (Levenshtein, N-gram Jaccard).
   • O sistema retém os $k$ tipos mais frequentes de estruturas gramaticais para formar a espinha dorsal visual, enquanto descarta outliers de baixa frequência para manter a clareza visual. Um conjunto completo de todas as sentenças é mantido separadamente para cálculos de probabilidade global.

5. Classificação Semântica:

   • Em vez de dicionários estáticos, o sistema utiliza um método de Classificação Contextual Assistida por LLM; um LLM auxiliar classifica palavras-chave filtradas (substantivos, adjetivos, nomes próprios) dentro do contexto da frase completa para lidar com polissemia.
   • Overrides de Usuário Baseados em RAG: Usuários podem corrigir manualmente classificações errôneas na interface (frontend). Essas correções são salvas e injetadas no prompt do LLM auxiliar para execuções subsequentes, garantindo uma classificação determinística e verificada por humanos.

6. Construção de Árvore e Métricas de Probabilidade:

   • Os nós são fundidos usando uma chave composta de (texto_do_token, categoria_semântica) para evitar a fusão de palavras polissêmicas.
   • O sistema computa duas métricas de probabilidade distintas para visualização:
     • Probabilidade Selecionada ($P_{selected}$): A média da confiança do token sobre as sentenças estruturalmente retidas (visualizada como largura de conexão).
     • Probabilidade Global ($P_{global}$): A soma das probabilidades dos tokens em todas as ocorrências geradas, normalizada pela contagem do subconjunto selecionado. Isso garante que tokens frequentes no pool total, mas podados pelo agrupamento, permaneçam visualmente proeminentes (altura do nó).

Principais Contribuições

1. Interface de Análise Visual (Adaptação de Sankey)

O TREETRACER utiliza uma nova adaptação do diagrama de Sankey para visualizar árvores de probabilidade agregadas. Ele desacopla as regras estritas de conservação de fluxo para satisfazer as necessidades de auditoria de viés:

• Altura do Nó: Codifica $P_{global}$, representando a massa de probabilidade escalonada de um caminho de token através de todas as amostras.
• Largura da Conexão: Codifica $P_{selected}$, visualizando a confiança localizada do modelo restrita ao subconjunto estrutural selecionado.
• Esta codificação dupla garante que vieses fortes escondidos dentro de variações sintáticas descartadas permaneçam visíveis.

2. Modos de Inferência Comparativa e Contrastiva

• Justaposição: Visualização lado a lado de duas árvores orientadas por ontologia para permitir a comparação direta de divergência estrutural.
• Superposição: Uma visualização mesclada interativa alinha árvores de diferentes ontologias usando um algoritmo de fusão vertical entre árvores, preservando estatísticas de origem dupla.
• Inferência Contrastiva: Para abordar o "ponto cego estatístico" onde algoritmos de decodificação descartam tokens de baixa probabilidade, o sistema realiza inferência contrafactual. Ele força o modelo a calcular as probabilidades brutas para tokens específicos sob ambas as condições originais (Ontologia A e B) e visualiza a Razão de Divisão Contrastiva ($R_{split}$) como feixes divididos dentro das conexões.

3. Validação do Sistema

O sistema foi validado através de cinco estudos de caso comparando uma linha de base não alinhada (GPT-2 XL) contra modelos Apertus constitucionalmente alinhados:

• Viés de Gênero: Revelou vieses ocultos em associações ocupacionais (ex: nomes femininos ligados a funções de cuidado, nomes masculinos a funções executivas) e supressão de pronomes contrafactuais.
• Toxicidade: Expôs vieses de treinamento históricos onde designações geográficas árabes foram ligadas a clusters de "Extremismo Político e Religioso", enquanto designações ocidentais foram ligadas a características positivas.
• Roleplay de Persona: Demonstrou como restrições de interpretação de personagem ativam estereótipos de gênero (ex: CEOs femininas descritas via trabalho emocional vs. CEOs masculinos via inteligência).
• Desinformação Médica: Mostrou como modelos alinhados (Apertus) colapsam estruturalmente em nós de recusa rígida para substâncias perigosas, enquanto modelos não alinhados (GPT-2) geram instruções coerentes, porém prejudiciais.
• Viés Sintático: Destacou "correlações espúrias de domínio sintático" onde modelos não alinhados aplicam rigidamente templates geográficos a itens alimentares, enquanto modelos alinhados se adaptam semanticamente.

4. Estudo de Usuário

Um estudo preliminar com sete estudantes de ciência da computação confirmou que a interface comparativa agregada:

• Reduz a carga cognitiva em comparação com ferramentas padrão de busca de feixe (ex: generAItor).
• Suporta efetivamente analistas na detecção de vieses sistêmicos.
• Alcançou uma pontuação de Escala de Usabilidade do Sistema (SUS) de 76,9, indicando alta usabilidade.

Significância e Alegações

O artigo afirma que o TREETRACER preenche a lacuna entre a geração de texto estocástica e a necessidade de uma auditoria de viés rigorosa. Sua principal significância reside na mudança do foco analítico da inspeção isolada de instâncias únicas para a comparação agregada e consciente de classificação.

Os autores afirmam que:

1. Vieses Ocultos são Expostos: O viés frequentemente reside em ramos de baixa probabilidade e variações sintáticas que as inspeções de top-k ou beam search padrão perdem. O TREETRACER torna essas "associações ocultas" explícitas.
2. Ontologia como Variável de Controle: Ao tratar as ontologias como variáveis independentes controladas, o sistema permite a separação de efeitos semânticos de templates sintáticos, ofereção uma ferramenta mais robusta para avaliar danos representacionais do que templates estáticos.
3. Rigor Contrafactual: A inclusão da inferência contrastiva reduz o risco de interpretar erroneamente a presença de viés ao computar e exibir probabilidades de tokens contrafactuais, garantindo que a ausência de uma palavra no output final não mascare sua probabilidade subjacente.

O trabalho conclui que a combinação de agregação visual, fusão consciente de classificação e inferência contrastiva fornece uma base escalável para pesquisas futuras de segurança e alinhamento de IA, permitindo a detecção de danos representacionais sistêmicos mesmo quando estes estão ausentes dos outputs de ranking superior.