Resumo Técnico: A Topologia de Questões Mal Formuladas

Definição do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente encontram questões mal formuladas (ill-posed questions) — consultas que são ambíguas, subespecificadas, contraditórias ou que carecem de contexto necessário. Diferente de problemas bem formulados, essas consultas podem admitir nenhuma resposta válida ou múltiplas interpretações plausíveis. As abordagens existentes para lidar com a má formulação baseiam-se amplamente na análise de saídas do modelo (ex: detecção de padrões de recusa) ou no foco em subclasses específicas de ambiguidade através de reescrita de entrada-saída. Esses métodos frequentemente tratam o LLM como uma caixa preta, falhando em capturar a representação interna unificada de diversas fontes de má formulação. Consequentemente, os mecanismos de controle (steering) atuais tendem a colapsar em templates de recusa genéricos, em vez de guiar o modelo em direção à clarificação consciente da fonte ou à abstenção direcionada.

Metodologia

O artigo propõe um framework que analisa e controla o comportamento de LLMs modelando os estados ocultos internos dos tokens de um prompt como uma estrutura topológica.

1. Representação de Nuvem de Tokens por Camada

Em vez de comprimir um prompt em um único vetor agrupado (pooled vector), os autores tratam os estados ocultos contextuais dos tokens de cada camada de transformer $l$ como uma nuvem de pontos $X^{(l)}(q)$.

• Redução de Dimensionalidade: Para gerenciar o ruído e o custo computacional, os estados dos tokens são projetados em um espaço de menor dimensão usando Análise de Componentes Principais (PCA) ajustada no conjunto de treinamento.
• Análise Topológica: A geometria dessas nuvens de tokens é analisada usando homologia persistente de dimensão zero finita ($H_0$). Este método rastreia como componentes de tokens inicialmente desconectados se fundem conforme um limiar de distância (raio de filtração) aumenta.
• Interpretação: Uma questão bem formulada induz estados de tokens que se coalescem em uma estrutura coerente precocemente na filtração. Uma questão mal formulada preserva grupos separados ou desigualmente conectados (representando entidades, contextos ou restrições não resolvidas) até escalas maiores, resultando em padrões de fusão distintos.

2. Descritores Topológicos Compactos

Para cada camada, o diagrama de persistência $H_0$ finita é resumido em três descritores escalares de dimensão fixa:

1. Tempo de Vida Médio ($\mu$): A escala média na qual os componentes se fundem, indicando o grau de fragmentação.
2. Entropia de Tempo de Vida Normalizada ($E$): Mede a distribuição dos eventos de fusão (difusos vs. concentrados).
3. Concentração do Maior Tempo de Vida ($R$): A razão entre a soma dos cinco maiores tempos de vida e o total, capturando a dominância das principais separações.

Esses descritores são concatenados através de todas as $L$ camadas para formar um vetor topológico $z(q) \in \mathbb{R}^{3L}$ que representa a questão.

3. Controle de Ativação Condicionado à Topologia

O framework utiliza esses vetores topológicos para dois propósitos:

• Classificação: Um classificador supervisionado prevê a má formulação binária ou subtipos refinados (ex: polissemia, falta de contexto temporal) diretamente a partir do vetor topológico.
• Controle Local (Local Steering): Em vez de aplicar uma única direção de "abstenção" global, o método recupera exemplos positivos (clarificação/abstenção) e negativos (resposta direta) topologicamente similares do conjunto de treinamento.
  • Um vetor de controle local $v_{local}$ é construído como a diferença entre as ativações médias desses vizinhos recuperados.
  • Este vetor é adicionado aos estados ocultos durante as etapas de prefill e decodificação, guiando o modelo para uma resposta que aborde a fonte específica da má formulação enquanto preserva o conteúdo semântico da questão original.

Principais Contribuições

1. Representação Topológica Unificada: Introduziu uma representação de nuvem de tokens por camada que quantifica a conectividade multiescala de questões mal formuladas usando homologia persistente $H_0$ finita.
2. Extração de Características Compactas: Demonstrou que três estatísticas compactas (tempo de vida médio, entropia, concentração) derivadas de tempos de vida $H_0$ formam uma representação robusta e de baixa dimensão capaz de suportar tanto a detecção binária quanto a classificação refinada de 9 vias da má formulação.
3. Controle Condicionado à Topologia: Desenvolveu um mecanismo de controle que utiliza a similaridade topológica para selecionar pares de contraste específicos da consulta, permitindo que o modelo mude de uma resposta direta para uma abstenção ou clarificação consciente da fonte, sem colapsar em recusas genéricas.

Resultados Experimentais

O framework foi avaliado em três LLMs de pesos abertos (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) através de três benchmarks: AmbigQA e SituatedQA (detecção binária) e CLAMBER (classificação refinada de 9 vias).

• Desempenho de Classificação:

  • AmbigQA: A precisão melhorou de 67,4% (baseline AEN) para 78,9%.
  • SituatedQA: A precisão melhorou de 79,9% para 88,5%.
  • CLAMBER (9 vias): A precisão melhorou de 57,6% para 69,6%.
  • Os recursos topológicos superaram consistentemente os baselines baseados em prompt (zero-shot, few-shot, CoT) e baselines de sondagem de neurônios (AEN).

• Desempenho de Controle (Steering):

  • O controle condicionado à topologia aumentou a taxa de resposta Grounded Acceptable (respostas que identificam e abordam corretamente o elemento ausente/ambíguo) de 11,9% para 16,4% em média.
  • A taxa Total Acceptable (grounded + genérica) aumentou de 61,4% para 70,6%.
  • Crucialmente, o método reduziu as recusas "genéricas" em favor de respostas "grounded", indicando que o controle preservou com sucesso a informação específica da questão enquanto alterou o comportamento da resposta.

Significância e Alegações

O artigo alega que a homologia persistente fornece uma representação interpretável da má formulação que captura como a estrutura de conectividade interna do modelo se transforma através das camadas. A significância reside em demonstrar que:

1. A má formulação não é meramente um fenômeno ao nível da saída, mas está codificada na disposição geométrica dos estados dos tokens durante a etapa de prefill.
2. Descritores topológicos podem servir como chaves de recuperação eficazes para o controle de ativação local, permitindo intervenções direcionadas que são sensíveis ao subtipo específico de má formulação (ex: distinguir entre ambiguidade lexical e falta de contexto temporal).
3. Esta abordagem vai além de templates de recusa fixos, permitindo que os LLMs produzam respostas que são tanto abstinentes (quando necessário) quanto informativas em relação à natureza específica da ambiguidade da consulta.

Os autores observam limitações, incluindo o escopo restrito a três modelos ajustados para instrução e três benchmarks de QA, e sugerem trabalhos futuros que possam explorar homologia de dimensões superiores ($H_1$) ou aprender pesos de agregação de camadas.