🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

Este artigo introduz um pipeline de auditoria de dados escalável e apenas de inferência que aproxima os valores de Shapley para identificar e remover eficientemente registros conflitantes, rotulados incorretamente ou inseguros de conjuntos de dados e benchmarks de alinhamento de LLMs, reduzindo significamente os esforços de auditoria manual e expondo falhas críticas na verdade fundamental anotada por humanos.

Autores originais: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Publicado 2026-07-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a ser um assistente humano útil, seguro e honesto. Você não o programa com regras rígidas; em vez disso, mostra a ele milhões de exemplos de boas conversas e de más conversas, deixando-o aprender pelo exemplo. É assim que a IA moderna adquire sua "personalidade" e seus filtros de segurança. Mas aqui está o problema: o robô é tão bom quanto as histórias que você conta a ele. Se o seu livro de histórias estiver cheio de erros de digitação, mentiras ou contradições confusas, o robô ficará confuso e poderá começar a agir de forma estranha.

Por muito tempo, verificar esses livros de histórias era como tentar encontrar uma única maçã estragada em uma montanha de frutas olhando para elas uma por uma. Era lento, caro e muitas vezes deixava passar problemas sutis. Cientistas tentaram usar a matemática para descobrir quais histórias são mais importantes, um método chamado "valor de Shapley", mas fazer o cálculo exato seria tão pesado que levaria uma eternidade para uma pilha gigante de dados. A grande questão é: como podemos identificar rapidamente os erros ocultos, as contradições confusas e os conselhos ruins nesses livros de treinamento massivos sem ler cada página ou reensinar o robô do zero?

Este artigo apresenta uma nova ferramenta de detetive inteligente chamada "pipeline de auditoria de dados baseada em influência". Pense nisso como uma lupa mágica que não precisa reler todo o livro para encontrar os erros. Em vez de retreinar o robô, os pesquisadores usam um truque: eles perguntam ao robô: "Se eu te mostrar esta história específica antes de você ler esta próxima, isso te ajuda a entender ou te confunde?"

Os pesquisadores construíram um sistema que agrupa histórias semelhantes e as testa como um jogo de "encontre a diferença". Eles pegam uma história e pedem ao robô para prever o final. Então, mostram ao robô uma história semelhante primeiro (como uma dica) e pedem ao robô para prever o final novamente. Se a história "dica" faz com que a previsão do robô piore, isso é um enorme sinal de alerta. Significa que as duas histórias estão brigando entre si, como uma dizendo "Sempre diga a verdade" e a outra dizendo "Tudo bem mentir neste caso".

A equipe testou isso em duas coleções famosas de dados de treinamento. Primeiro, eles examinaram um conjunto de dados chamado HelpSteer2. Sua ferramenta descobriu que, de milhares de registros, eles conseguiam reduzir a lista de coisas que os humanos precisavam verificar em 99,1%. Eles revelaram erros ocultos onde humanos deram pontuações perfeitas para respostas que, na verdade, eram cheias de fatos inventados ou ignoravam instruções importantes. Por exemplo, encontraram casos em que um robô foi elogiado por escrever uma redação de aparência perfeita que continha datas falsas e artigos científicos falsos, enquanto uma redação semelhante com os mesmos fatos falsos era corretamente punida. Isso revelou um "viés de superficialidade", onde os revisores humanos gostavam de como o texto parecia, mas não verificavam se os fatos eram reais.

Em seguida, eles auditaram um conjunto de dados chamado HH-RLHF, que é usado para ensinar robôs a escolher entre duas respostas. Eles encontraram milhares de contradições ocultas onde a resposta "correta" escolhida pelos humanos era, na verdade, perigosa ou não útil. Em um exemplo assustador, um revisor humano escolheu uma resposta que sugeria despejar água sanitária nos olhos de alguém como uma brincadeira, enquanto rejeitava uma resposta segura que apenas pedia um esclarecimento. A ferramenta detectou esses riscos de segurança que as verificações padrão perderam.

Talvez o mais surpreendente seja que, quando usaram essa ferramenta para verificar as questões de teste (os exames usados para avaliar os robôs), descobriram que os próprios exames estavam quebrados. As respostas "corretas" no banco de questões eram frequentemente erradas. Em muitos casos, os robôs mais inteligentes estavam, na verdade, escolhendo a resposta mais segura e melhor, mas o teste as marcava como "erradas" porque o gabarito escrito pelo humano estava falho. Isso sugere que alguns dos maiores problemas na segurança da IA podem não ser os robôs falhando, mas sim os testes sendo injustos.

Os autores são cuidadosos ao dizer que, embora sua ferramenta matemática seja incrivelmente rápida e eficaz para estreitar a busca, ela ainda precisa de um humano (ou de um juiz de IA muito inteligente) para dar a palavra final sobre se uma história está realmente quebrada. Eles não corrigiram os dados em si, mas construíram um mapa altamente eficiente que mostra exatamente onde estão os buracos, poupando os pesquisadores de terem que dirigir por cada centímetro de estrada para encontrá-los. Ao usar este método, eles reduziram o trabalho de verificar um conjunto de dados massivo de olhar milhares de itens para apenas algumas dezenas de suspeitos de alta prioridade, provando que, às vezes, a melhor maneira de encontrar a verdade é ver como as peças de um quebra-cabeça empurram e puxam umas às outras.

Resumo Técnico: Além de Shapley: Um Pipeline de Auditoria de Dados Baseado em Influência para Alinhamento e Avaliação de LLMs

Declaração do Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) é cada vez mais limitado pela qualidade dos dados, e não pela arquitetura do modelo. À medida que os conjuntos de dados escalam, vastos corpora de preferência e de ajuste de instrução (instruction-tuning) acumulam contradições estruturais ocultas, riscos de segurança e erros sistêmicos de anotação humana. Os métodos de auditoria atuais enfrentam limitações significativas:

Deduplicação Semântica: Eficaz na busca de duplicatas textuais, mas falha em capturar a utilidade funcional ou o impacto preditivo de registros individuais.
LLM-como-Juiz (LLM-as-a-Judge): Embora escalável, esses métodos dependem de rubricas definidas por humanos, frequentemente exibem vieses (ex: em direção ao comprimento da resposta) e não conseguem determinar matematicamente como um registro influencia a distribuição preditiva de um modelo.
Data Shapley: Fornece um framework rigoroso para valoração de dados, mas é computacionalmente proibitivo ( $O(2^N)$ ) para grandes conjuntos de dados. As aproximações existentes ou carecem de granularidade ao nível do registro (exigindo agrupamentos grosseiros) ou são restritas a tarefas de classificação/regressão, falhando em abordar a mecânica generativa de LLMs.

Existe uma lacuna crítica na capacidade de realizar a valoração de dados ponto a ponto, ao nível do registro, para LLMs generativos sem exigir o retreinamento computacionalmente caro ou a amostragem iterativa de dados.

Metodologia

Os autores propõem um pipeline de valoração de dados baseado apenas em inferência, altamente escalável, que aproxima o valor de Shapley medindo a contribuição marginal de pontos de dados através de mudanças na log-verossimilhança condicional. O fluxo de trabalho consiste em duas fases principais:

Fase 1: Medição de Influência

Construção de Vizinhança Semântica: Os prompts são projetados em um espaço vetorial denso (usando Qwen3-Embedding-4B). Instruções de sistema estáticas são removidas para evitar a diluição vetorial. Um grafo de $k$ -Vizinhos Mais Próximos ( $k$ -NN) é construído com base na similaridade de cosseno.
Pontuação Zero-Shot e One-Shot: Para um registro alvo $(x_i, y_i)$ $(x_{i}, y_{i})$ e um vizinho $(x_j, y_j)$ $(x_{j}, y_{j})$ , o pipeline calcula a log-verossimilhança condicional da resposta alvo $y_i$ $y_{i}$ sob duas condições:
- Baseline ( $LL_{base}$ ): A probabilidade de $y_i$ dado apenas $x_i$ .
- Probe ( $LL_{probe}$ ): A probabilidade de $y_i$ dado um prompt composto onde $(x_j, y_j)$ serve como uma demonstração de um único passo (one-shot) anterior a $x_i$ .
Cálculo de Influência: A influência preditiva ( $\Delta LL$ ) é definida como a diferença: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . Um $\Delta LL$ positivo indica uma influência construtiva, enquanto um valor negativo sugere uma contradição comportamental onde o vizinho degrada a probabilidade preditiva do alvo.
Construção de Grafo Direcionado: Um grafo direcionado $G=(V, E)$ é construído onde as arestas representam o fluxo de influência do vizinho para o alvo, ponderado por $\Delta LL$ .

Fase 2: Derivação de Métricas e Auditoria

A partir do grafo, três métricas são derivadas para cada nó:

Vantagem Exemplificada (Influência Passiva): Mede a influência agregada que um registro recebe de seus vizinhos de entrada. Valores altos sugerem redundância.
Vantagem Exemplificadora (Influência Ativa): Mede a contribuição preditiva que um registro exerce sobre seus vizinhos de saída. Isso aproxima o valor de Data Shapley ao tratar o aprendizado em contexto de um passo (1-shot in-context learning) como um substituto de gradiente zero para atualizações de parâmetros.
Pontuação "One of a Kind" (Unicidade Topológica): Quantifica a unicidade estrutural baseada na assimetria da recuperação $k$ -NN (registros que recuperam vizinhos, mas são raramente recuperados por eles mesmos).

Paradigmas de Detecção de Contradição:

Não Supervisionado (Rótulos Implícitos): Sinaliza nós onde as vantagens exemplificadas ou exemplificadoras caem abaixo de um limiar ( $\tau_{adv}$ ), buscando especificamente Vizinhos Mais Próximos Mútuos (MNN) que degradam mutuamente a probabilidade preditiva um do outro.
Supervisionado (Rótulos Explícitos): Um processo de dois estágios para conjuntos de dados de modelos de recompensa. Primeiro, isola registros de "padrão ouro" (alta classificação humana) com vantagens exemplificadoras negativas. Segundo, realiza a "Verificação Gêmea" (Twin Verification) ao encontrar vizinhos de baixa classificação com comportamentos de resposta similares para identificar inconsistências entre anotadores.

Principais Contribuições

Framework de Valoração Baseado em Influência: O artigo introduz um pipeline altamente escalável, baseado apenas em inferência, que aproxima os valores de Shapley para LLMs generativos. Ao contrário de métodos anteriores, ele opera em $O(K)$ passagens de forward (onde $K$ é o tamanho da vizinhança) sem retreinamento de modelo ou agrupamento, generalizando para geração aberta e dados de preferência pareada.
Detecção de Contradição Estrutural: O pipeline revela contradições estruturais ocultas em conjuntos de dados amplamente utilizados (HelpSteer2 e HH-RLHF) que métricas de similaridade padrão não detectam. Ele identifica registros recompensados por humanos que escondem erros estruturais (ex: alucinações fatuais, instruções de formatação ignoradas) que degradam o desempenho do modelo.
Exposição de Vulnerabilidades de Benchmarks: Ao auditar a divisão de avaliação do HH-RLHF, o trabalho demonstra que modelos altamente capazes frequentemente preveem a resposta mais segura ou útil, mas são penalizados por rótulos de verdade fundamental (ground-truth) objetivamente falhos, revelando vulnerabilidades na integridade dos benchmarks atuais.

Resultados Experimentais

O pipeline foi avaliado em dois conjuntos de dados usando Qwen3.5-9B como modelo alvo e Gemini 3.1 Pro para arbitragem especializada.

Estudo de Caso 1: HelpSteer2

Processo: Aplicado a 21.362 registros, focando em 8.434 registros com pontuações perfeitas de utilidade humana (4/4).
Eficiência: Reduziu o espaço de busca de auditoria manual em 99,1% (de 8.434 registros para 77 pares candidatos).
Descobertas: Identificou 18 pares de contradição e 10 registros únicos falsamente rotulados como perfeitos. Os erros incluíram alucinações fatuais (ex: datas de calendário incorretas), instruções de formatação ignoradas e citações acadêmicas fabricadas.
Insight: Revelou um "viés de superficialidade" na anotação humana, onde textos estruturalmente corretos, mas factualmente fraudulentos, receberam pontuações altas.

Estudo de Caso 2: HH-RLHF

Auditoria de Dados de Treinamento: Identificou 4.238 contradições e 2.841 registros problemáticos únicos. As categorias incluíram violações de segurança (ex: recompensar conformidade tóxica), alucinações, evasão inútil e falhas estruturais.
Auditoria de Dados de Avaliação: Aplicado à divisão de avaliação, isolando 108 registros únicos com contradições estruturais confirmadas.
Desacordo do Modelo: Quando testado nesses registros "falhos" isolados, as taxas de desacordo dos modelos com os rótulos humanos aumentaram significamente em comparação com a linha de base:
- Qwen3.5-9B (FT): O desacordo subiu de 28,9% (conjunto completo) para 62,04% (subconjunto verificado).
- Qwen3.5-27B: O desacordo subiu de 28,67% para 75,00%.
- Gemma3-12B: O desacordo subiu de 38,34% para 63,89%.
Conclusão: As altas taxas de desacordo confirmam que os modelos frequentemente previam o comportamento correto, mas os rótulos do benchmark eram objetivamente falhos.

Significância e Limitações

Significância:
O artigo fornece uma ferramenta de diagnóstico matematicamente fundamentada e eficiente para descobrir falhas de rótulos humanos e sanitizar benchmarks de avaliação. Ele muda o paradigma do cálculo de Shapley baseado em retreinamento computacionalmente proibitivo para uma abordagem tratável, baseada apenas em inferência, que mantém a granularidade ao nível do registro. Isso permite a identificação rápida de erros de anotação sistêmicos e a validação da integridade dos benchmarks.

Limitações:

Dependência de Verificação: A verificação final depende de avaliadores LLM (ex: Gemini), o que pode introduzir vieses subjetivos e não determinismo.
Filtro vs. Detector: A métrica $\Delta LL$ atua como um filtro de anomalias que reduz o espaço de busca em ~99%, mas ainda requer um árbitro para confirmar conflitos semânticos de regras.
Precisão vs. Recall: Limiares estritos priorizam a precisão, o que significa que o pipeline não captura a totalidade dos erros do conjunto de dados (ex: os 108 erros isolados no HH-RLHF não explicam a taxa total de ~30% de desacordo dos modelos base).
Escalabilidade da Verdade Fundamental Humana: Estabelecer verdade fundamental humana em larga escala para erros de anotação permanece proibitivamente caro, limitando a capacidade de validar totalmente o recall do pipeline.