💻 computer science

DMDIntel: Interpreting Large Language Models via Dynamic Mode Decomposition

Este artigo apresenta o DMDIntel, um novo framework de interpretabilidade que utiliza a decomposição de modos dinâmicos para decompor os estados ocultos de LLMs em modos proeminentes e classificar tokens de entrada, demonstrando desempenho superior sobre métodos de atribuição de última geração como PCA, gradientes integrados e SHAP através de múltiplos conjuntos de dados e famílias de modelos.

Autores originais: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Publicado 2026-08-14

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Amogh Joshi, Animesh Mukherjee, Sergey Utyuzhnikov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um mágico tirar um coelho de dentro de um chapéu. Você vê o chapéu, você vê o coelho, mas a mágica acontece no breve instante entre os dois, escondida nas mangas do mágico. Por muito tempo, a Inteligência Artificial (IA) tem sido esse mágico. Nós damos a ela uma frase, e ela nos dá uma resposta, mas ninguém realmente sabe como ela decidiu essa resposta. A IA é uma "caixa preta", e os cientistas estão desesperados para espiar lá dentro para ver quais palavras o computador realmente considerou importantes. Este campo é chamado de "interpretabilidade". Para entender o novo artigo, primeiro você precisa saber duas coisas: como a IA lê texto e como geralmente tentamos espiar o interior.

Os modelos de IA, especificamente os chamados "Large Language Models" (LLMs), não leem palavras como nós. Em vez disso, eles transformam cada palavra em uma longa lista de números (um vetor) e as passam por uma série de camadas, como uma corrida de revezamento. Em cada camada, os números mudam ligeiramente, misturando o significado da palavra atual com as palavras que vieram antes dela. Ao final da corrida, o modelo tem um conjunto final de números que decidem a resposta. Geralmente, para descobrir quais palavras importaram, os cientistas usam ferramentas que observam o estado "estático" do modelo — como tirar uma única foto da corrida de revezamento e adivinhar quem estava correndo mais rápido. Mas este artigo sugere que olhar para uma única foto perde toda a história. Ele argumenta que devemos assistir ao filme da corrida, observando como os números evoluem de um passo para o outro, porque o segredo do pensamento da IA está nesse movimento.

Surge o DMDINTEL, um novo método introduzido por Amogh Joshi e sua equipe do IIT Kharagpur e da Universidade de Manchester. Pense no processamento interno da IA não como uma lista estática de números, mas como um rio fluindo. À medida que a IA lê uma frase, a "água" (a informação oculta) ondula e muda de forma com cada nova palavra. Os pesquisadores usaram uma ferramenta matemática chamada Dynamic Mode Decomposition (DMD) — originalmente inventada para estudar como a água gira na mecânica de fluidos — para mapear essas ondulações.

Eis como a analogia do "rio" funciona na prática: Quando a IA lê uma frase, os estados ocultos das palavras criam um padrão complexo e giratório. O DMDINTEL decompõe esse padrão em alguns "modos" ou formas simples e repetitivas, tal como uma onda complexa no oceano pode ser descrita como uma combinação de algumas formas de ondas básicas. A equipe descobriu que, ao observar como essas formas crescem, diminuem ou oscilam enquanto a IA lê a frase, eles podiam identificar quais palavras eram os "motores" da decisão final. Eles trataram a IA como um sistema dinâmico, o que significa que olharam para a mudança entre uma palavra e a próxima, em vez de apenas para a palavra em si.

Os pesquisadores testaram essa ideia em três diferentes famílias de modelos de IA (Llama, Qwen e Mistral) e três tarefas diferentes: descobrir se uma avaliação é positiva ou negativa, detectar notícias falsas e detectar discurso de ódio. Eles compararam seu método de "filme do rio" contra os antigos métodos de "foto estática", que incluem técnicas como Integrated Gradients, SHAP e Principal Component Analysis (PCA).

Os resultados sugerem que o DMDINTEL é um detetive muito melhor. Em seus experimentos, o novo método consistentemente encontrou as palavras mais importantes (a "verdade fundamental" ou ground truth) com mais frequência do que os outros métodos. Por exemplo, quando a IA estava decidindo se uma avaliação era negativa, o DMDINTEL corretamente classificou palavras como "lixo" e "incapaz" como os principais motores, enquanto outros métodos às vezes se distraíam com palavras menos importantes como "agendado" ou "conferência". O artigo mostra que, ao observar a evolução dos pensamentos da IA, o DMDINTEL captura a lógica da frase melhor. Ele sugere que o raciocínio da IA não é apenas sobre as palavras paradas; é sobre como o significado flui e se transforma conforme a frase é construída.

No entanto, os autores ressaltam cuidadosamente que isso não é uma solução mágica para todos os problemas de IA. Seu método funciona melhor quando a IA está apenas lendo uma frase e dando uma resposta simples (como uma tarefa de classificação). Eles admitem que, se a IA começar a escrever uma história longa ou traduzir um livro inteiro palavra por palavra, a matemática torna-se complicada porque a IA começa a alimentar suas próprias novas palavras de volta ao sistema. Mas para o trabalho específico de explicar por que uma IA rotulou uma frase como "discurso de ódio" ou "notícia falsa", esta nova maneira de observar a dança dos números sugere uma imagem mais clara e precisa da mente da máquina.

Resumo Técnico: DMDINTEL – Interpretando LLMs via Decomposição de Modos Dinâmicos

1. Definição do Problema

O artigo aborda o desafio da interpretabilidade em grandes modelos de linguagem (LLMs), especificamente no que diz respeito à atribuição de entrada em tarefas de classificação. Embora métodos tradicionais como Integrated Gradients (IG), SHAP e Análise de Componentes Principais (PCA) sejam eficazes em identificar quais tokens o modelo atende, os autores argumentam que eles possuem limitações significativas:

Tratamento Discreto: Eles frequentemente tratam os tokens como entidades discretas e isoladas.
Falta de Contexto Temporal: Eles falham em capturar a evolução sequencial da informação latente conforme o modelo processa uma sequência token por token.
Instantâneos Fragmentados: Eles fornecem uma visão estática do raciocínio, em vez de uma narrativa contínua de como os estados ocultos evoluem para formar uma previsão.

O trabalho de interpretabilidade mecanística existente muitas vezes foca em sondagem estática ou mapeamento de circuitos específicos, mas tem dificuldade em modelar o fluxo dinâmico de informação através de uma sequência.

2. Metodologia: O Framework DMDINTEL

O framework proposto, DMDINTEL, trata um LLM de decodificador único (decoder-only) com ajuste fino supervisionado como um sistema dinâmico de tempo discreto. Ele modela a evolução dos estados ocultos como um fluxo no espaço de embedding, aproximando a função não linear $F$ com um operador substituto linear.

Fluxo de Trabalho Principal

Formulação de Sistema Dinâmico:
A transição de estado do modelo é modelada como $h_{t+1} \approx F(w_{\le t})$ , onde $h_t$ é o estado oculto no token $t$ . Os autores aproximam essa transição usando uma relação linear $h_{t+1} = A h_t$ , onde $A$ é um operador linear substituto.
Construção da Matriz de Dados e Redução de Ruído:
- Seleção de Camada: Um heurístico (Algoritmo 1) seleciona a camada de decodificador ( $\ell^*$ ) ideal analisando a similaridade de cosseno entre os estados ocultos dos tokens e um vetor de "viés de instrução" (derivado de um prompt vazio). A camada selecionada equilibra a fidelidade do token de entrada com o viés de seguimento de instrução, tipicamente localizada no ponto de inflexão onde a similaridade com o viés de instrução começa a subir abruptamente.
- Remoção de Viés: Para isolar o sinal da frase de entrada real do template do prompt, os autores subtraem o vetor de viés de instrução ( $b$ ) dos estados ocultos: $\hat{h}_i = h_i - b$ .
- Formação de Matriz: Os estados ocultos desviesados formam uma matriz de dados $X$ .
Decomposição de Modos Dinâmicos (DMD):
- DMD Padrão: O operador linear $A$ é aproximado a partir da matriz de dados. Sua autodecomposição gera modos DMD (estruturas espaço-temporais) e autovalores (quantificando crescimento, decaimento e oscilação).
- HODMD (DMD de Ordem Superior): Para capturar dependências de longo prazo e dinâmicas temporais que o DMD padrão (que assume um processo Markoviano $h_{t+1} = A h_t$ ) pode perder, os autores também empregam HODMD. Isso constrói uma matriz de Hankel a partir de instantâneos empilhados, permitindo que o sistema modele estados ocultos como combinações lineares de passos de tempo anteriores.
Atribuição de Entrada (Ranking de Tokens):
- Ranking de Modos: Os modos são classificados por sua significância dinâmica, especificamente usando a magnitude das amplitudes modais iniciais ou a magnitude das amplitudes em média temporal.
- Pontuação de Token: Para cada token $w_t$ , a contribuição é medida pela mudança de estado $\Delta h_t = h_t - h_{t-1}$ . A projeção escalar dessa mudança sobre os top- $k$ modos dominantes é calculada. A soma das magnitudes dessas projeções ao longo dos principais modos resulta em uma pontuação de projeção ( $s_t$ ) para o token.
- Saída Final: Os tokens são classificados por suas pontuações de projeção para identificar os drivers mais influentes da previsão do modelo.

3. Principais Contribuições

Framework DMDINTEL: Introdução de um pipeline de atribuição de entrada que decompõe os estados ocultos de LLMs em modos espaço-temporais interpretáveis para classificar tokens de entrada.
Perspectiva Dinâmica: O primeiro trabalho a analisar a evolução sequencial de estados ocultos em decodificadores de LLMs como um sistema dinâmico especificamente para atribuição de entrada.
Validação Empírica: Avaliação extensiva em três famílias de modelos (Llama-3.2-3B, Qwen3-4B, Mistral-7B) e três conjuntos de dados de classificação de texto diversos (Sentimento, HateXplain, FakeEdit).
Superioridade de Desempenho: Demonstração de que o DMDINTEL supera consistentemente os baselines de estado da arte (PCA, IG, SHAP) na identificação de tokens de verdade fundamental (ground-truth) enquanto preserva sua importância classificada.

4. Resultados Experimentais

Os autores avaliaram o framework usando Contagem Correspondente (MC), Sobreposição com Viés de Ranking (RBO) e Recall@k contra os rankings de verdade fundamental (GT) gerados pelo GPT-4.1.

Análise de Sentimento: O HODMD com ranking de amplitude média temporal apresentou melhor desempenho. Os autores atribuem isso à necessidade de fatores de atraso para capturar a dinâmica de frases de múltiplas palavras, que o DMD padrão perde. O DMDINTEL superou o PCA, IG e SHAP em todas as métricas.
HateXplain & FakeEdit: O DMD padrão com ranking baseado em amplitude provou ser mais eficaz. Os autores sugerem que, para essas tarefas, onde palavras-chave específicas (ex: termos de discurso de ódio ou figuras políticas) impulsionam a classificação, a evolução do estado segue um processo quase-Markoviano que não requer a memória estendida do HODMD. O DMDINTEL alcançou o maior Recall@10, recuperando a maioria dos tokens de verdade fundamental.
Análise Qualitativa: O DMDINTEL mostrou forte alinhamento com o GT, classificando consistentemente tokens semanticamente relevantes (ex: "lixo", "incapaz", "fa**ot") próximos ao topo. Em contraste, o IG frequentemente focava em subconjuntos estreitos de palavras tóxicas enquanto perdia o contexto, e o SHAP às vezes trazia tokens contextualmente plausíveis, mas ausentes no GT.
Fidelidade (Perturbação): Em experimentos de mascaramento de tokens, o DMDINTEL causou consistentemente quedas significativas na precisão e confiança do modelo (frequentendo o primeiro ou segundo lugar), confirmando que os tokens identificados são, de fato, críticos para o processo de decisão do modelo.
Robustez: O método mostrou estabilidade entre diferentes famílias de modelos e foi relativamente insensível a pequenas variações no índice da camada selecionada ( $\ell^*$ ).

5. Significância e Alegações

O artigo afirma que o DMDINTEL oferece uma lente mais robusta e eficaz para a atribuição de entrada comparado aos métodos tradicionais estáticos ou baseados em gradiente. Ao visualizar o LLM como um sistema dinâmico, o framework captura a narrativa contínua do raciocínio do modelo, em vez de instantâneos fragmentados.

Os autores enfatizam que:

Os estados ocultos de modelos com ajuste fino, quando decompostos em modos espaço-temporais de baixa dimensão, revelam padrões interpretáveis que servem como indicadores robustos de fluxo de informação.
Essa perspectiva dinâmica permite a identificação de tokens que impulsionam a classificação de saída com maior fidelidade, particularmente em tarefas onde o contexto sequencial ou gatilhos específicos de nível de token são críticos.
A abordagem consegue fazer a ponte entre o comportamento complexo e não linear do modelo e as estruturas lineares interpretáveis (modos) sem exigir conhecimento prévio das equações regentes do sistema.

6. Limitações

Os autores reconhecem fronteiras específicas de seu trabalho atual:

Escopo da Tarefa: O framework é atualmente avaliado apenas em tarefas de classificação com saídas curtas (1-2 tokens). Nota-se que aplicar isso à geração auto-regressiva (ex: tradução automática) é desafiador porque os tokens gerados são alimentados de volta no modelo, complicando a formulação da matriz DMD.
Escopo do Modelo: O estudo foca em modelos de instrução com ajuste fino supervisionado para tarefas específicas de downstream. Modelos de instrução de uso geral lançados por empresas permanecem inexplorados neste contexto.