Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
Este artigo demonstra que o método padrão para identificar camadas e neurônios críticos para a segurança em modelos de linguagem ajustados é estatisticamente falho devido a um "efeito de piso" causado por baterias de prompts pequenas e bases de comparação inseguras, o que leva à contagem errônea excessiva de componentes críticos e invalida a evidência publicada para um relato de segurança de mecanismo duplo.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Quando pedimos a um modelo de linguagem de grande escala que recuse um pedido prejudicial, estamos pedindo que ele realize um ato complexo de autocontrole. Esses modelos são treinados em vastas quantidades de texto humano, aprendendo a prever a próxima palavra em uma frase, mas também passam por uma fase especial de treinamento para aprender o que não dizer. Pesquisadores na área de interpretabilidade mecanística tratam esses modelos como máquinas intrincadas que podem ser desmontadas para ver como funcionam. Eles acreditam que partes específicas da estrutura interna do modelo atuam como guardiões, decidindo se respondem a uma pergunta ou se a recusam. Para encontrar esses guardiões, os cientistas frequentemente usam um método chamado ablação. Isso envolve desativar temporariamente uma pequena parte do modelo, como uma única camada de processamento ou um neurônio específico, e então observar se o modelo subitamente começa a produzir respostas prejudiciais quando anteriormente não o faria. Se o modelo falhar em recusar após uma parte ser desativada, essa parte é rotulada como crítica para a segurança. O objetivo é mapear a maquinaria exata da recusa para que possamos entender, e talvez melhorar, como esses sistemas permanecem seguros.
Um estudo recente de Yangyi Zhang, da Universidade de Georgetown, examina um caso específico desta pesquisa e conclui que as conclusões extraídas dela são construídas sobre uma ilusão estatística. O estudo audita um experimento arquivado onde pesquisadores alegaram ter identificado seis camadas específicas e 205 neurônios específicos que atuam como os principais guardiões de segurança de um modelo de linguagem. A análise de Zhang revela que esses números não refletem a verdadeira mecânica do modelo. Em vez disso, são o resultado de uma falha de design no próprio experimento, especificamente um problema conhecido como efeito de piso. Neste contexto, o efeito de piso ocorre porque o teste usado para medir a segurança era pequeno demais e fraco demais para detectar mudanças reais. O experimento dependia de uma bateria de apenas quatro prompts prejudiciais para testar o modelo. Antes de qualquer parte do modelo ser desativada, o modelo já havia falhado em recusar três desses quatro prompts. Ele já era inseguro na maioria dos casos de teste.
Como o modelo já estava falhando em três de quatro prompts, desativar qualquer parte do modelo não poderia fazê-lo falhar com mais frequência do que isso. A contagem de respostas inseguras estava presa em um mínimo de três, independentemente de qual camada fosse desligada. A única maneira de uma camada ser marcada como "crítica" era se ela fosse justamente a que causasse a inversão do único prompt restante que ainda era seguro para o estado de inseguro. O estudo mostra que as seis camadas relatadas como críticas foram simplesmente as que por acaso inverteram esse prompt específico. As outras 26 camadas, que não inverteram esse prompt, foram relatadas como seguras, embora tenham desempenhado de forma quase idêntica às críticas. A distinção entre uma camada "crítica" e uma camada "segura" não foi uma diferença em como o modelo funcionava, mas uma diferença em como a pequena bateria de testes aconteceu de se comportar. O conjunto de seis camadas críticas relatado não foi uma descoberta do mecanismo de segurança do modelo; foi uma propriedade dos quatro prompts usados no teste.
A investigação também descobriu problemas semelhantes com as alegações relativas aos neurônios individuais. O relatório original afirmava que os pesquisadores haviam escaneado centenas de milhares de neurônios e encontrado 205 que eram críticos, usando um limiar específico para selecioná-los. No entanto, quando Zhang examinou os arquivos de dados reais armazenados daquele experimento, os números não coincidiam. Os dados armazenados continham registros de apenas 500 neurônios, não do conjunto completo, e os escores de impacto registrados para eles eram muito inferiores ao limiar usado no relatório. Nos dados armazenados, um limiar que selecionaria 205 neurônios não existia; em vez disso, os dados mostravam que apenas um neurônio excedeu o limiar relatado. A afirmação de 205 neurônios críticos não era sustentada pela evidência que foi realmente salva. Além disso, outras medições específicas mencionadas no relatório original, como a velocidade de um cálculo ou a sobreposição entre diferentes métodos de teste, não foram encontradas em nenhum dos arquivos armazenados. Os números apareciam no texto do artigo, mas não podiam ser rastreados até os dados brutos.
O estudo também contesta a afirmação de que a importância das camadas do modelo segue um padrão suave e previsível que desaparece à medida que se avança nas camadas profundas da rede. O relatório original sugeria que o impacto de desativar as camadas caía em uma curva exponencial limpa, com o trabalho mais importante ocorrendo nas primeiríssimas camadas. A reanálise dos dados armazenados mostra que o padrão real é muito mais desordenado. O impacto das camadas não diminui suavemente; em vez disso, é dominado por algumas camadas específicas, incluindo a última camada da rede, que mostrou um grande impacto quando desativada. Os dados não sustentam a ideia de uma curva de decaimento limpa e ordenada. Em vez disso, sugerem uma realidade mais complexa onde a segurança é influenciada por um conjunto esparso de camadas espalhadas pelo modelo, em vez de um único declínio ordenado.
Este trabalho não prova que o modelo carece de mecanismos de segurança ou que a teoria do mecanismo duplo é falsa. Ele simplesmente demonstra que a evidência específica apresentada na execução arquivada é insuficiente para sustentar essas afirmações. As descobertas destacam um requisito fundamental para este tipo de pesquisa: a bateria de testes deve ser grande o suficiente e composta por prompts suficientes que o modelo realmente recuse, para que a desativação de uma parte possa ser vista alterando o resultado. Quando a linha de base já é insegura na maioria dos prompts, o teste não consegue medir a contribuição de partes individuais. Para identificar verdadeiramente quais camadas ou neurônios são responsáveis pela segurança, os pesquisadores precisam de um conjunto muito maior de prompts basais seguros, e devem relatar a distribuição total dos resultados, em vez de apenas uma lista de camadas que cruzaram um limiar arbitrário. O estudo conclui que as reivindicações de atribuição são tão fortes quanto os dados dos quais podem ser recomputadas e, neste caso, os dados não sustentavam as conclusões ousadas que foram tiradas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.