Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
Este estudo preliminar demonstra que a aplicação de Regularização de Atribuição Latente (LAR) durante o ajuste fino melhora a consistência de atribuição de um pequeno agente de LLM para uso de ferramentas, reduzindo assim sua sensibilidade a solicitações prejudiciais parafraseadas e estabilizando as decisões de recusa sem comprometer significativamente o desempenho de detecção, embora corra o risco de recusa excessiva se aplicado a exemplos inofensivos.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, existe uma classe crescente de sistemas conhecidos como agentes. Ao contrário dos chatbots padrão que simplesmente respondem perguntas, esses agentes são projetados para tomar ações. Eles podem usar ferramentas, executar código ou interagir com outros softwares para completar tarefas complexas. Essa capacidade os torna incrivelmente úteis, mas também eleva o nível de risco para a segurança. Se um chatbot entender mal um pedido prejudicial, ele pode apenas dar uma resposta ruim. Se um agente entender mal o mesmo pedido, ele pode executar uma ação perigosa, como excluir arquivos ou enviar dados privados. Para evitar isso, pesquisadores ensinam esses modelos a recusar instruções prejudiciais. No entanto, esse treinamento de segurança é surpreendentemente frágil. Um modelo pode recusar um pedido formulado de uma maneira, mas se um humano reformular o mesmo pedido usando palavras diferentes ou uma estrutura de frase diferente, o modelo pode subitamente concordar em fazer a coisa prejudicial. Essa inconsistência é um grande obstáculo para a implantação de agentes confiáveis no mundo real.
Um pesquisador chamado Junaid Hassan propôs-se a resolver este problema específico de inconsistência. O objetivo não era apenas fazer com que o modelo recusasse com mais frequência, mas tornar sua recusa estável. Um modelo que recusa tudo é consistente, mas também é inútil porque não ajudará em tarefas inofensivas. O desafio era encontrar uma maneira de tornar a decisão do modelo de dizer "não" robusta contra mudanças na redação, sem torná-lo cauteloso demais para dizer "sim" quando deveria. Para testar isso, o pesquisador trabalhou com um modelo de IA pequeno e eficiente projetado para usar ferramentas. A equipe utilizou um conjunto de dados chamado AgentHarm, que contém centenas de cenários onde um agente é solicitado a realizar tarefas prejudiciais, juntamente com versões seguras dessas mesmas tarefas. Crucialmente, cada pedido prejudicial foi emparelhado com várias paráfrases diferentes, permitindo que os pesquisadores vissem se a decisão do modelo mudava quando as palavras mudavam, mas o significado permanecia o mesmo.
O pesquisador testou um novo método de treinamento chamado Regularização de Atribuição Latente. Em termos simples, este método ensina o modelo a prestar atenção à importância das palavras que ele lê de uma forma consistente. Quando o modelo processa um pedido, ele atribui um nível de importância a cada palavra para decidir o que fazer. A penalidade de treinamento garante que, se o pedido for reescrito com palavras diferentes, o padrão de importância atribuído às ideias permaneça o mesmo. Isso é comparado a um método de treinamento padrão que simplesmente tenta fazer com que o modelo dê a resposta correta tanto para o pedido original quanto para o reescrito, sem impor essa consistência em como ele pensa. O estudo foi cuidadoso ao comparar os dois métodos de forma justa, garantindo que qualquer diferença nos resultados viesse da técnica de treinamento em si e não de sorte ou de quantidades diferentes de dados.
Os resultados mostraram que o novo método funcionou. Quando os modelos foram ajustados para recusar uma porcentagem específica e pequena de tarefas inofensivas para garantir que não fossem excessivamente cautelosos, o modelo treinado com o método de consistência foi significativamente mais estável. No grupo de treinamento padrão, cerca de 25% das famílias de tarefas tiveram resultados mistos, o que significa que o modelo recusaria uma versão de um pedido, mas cumpriria uma paráfrase dele. Com o novo método de consistência, esse número caiu para 19%. Além disso, a taxa na qual o modelo mudava sua decisão de "não" para "sim" apenas porque as palavras mudaram caiu de aproximadamente 11% para 9%. Os pesquisadores também mediram uma pontuação que reflete a probabilidade de o modelo recusar, independentemente de um ponto de corte específico, e descobriram que essa pontuação mudou muito menos quando a redação mudou. Isso indica que a lógica interna do modelo para decidir recusar tornou-se mais sólida.
Importante ressaltar, o estudo confirmou que essa estabilidade não veio à custa da capacidade do modelo de detectar danos. O novo método não tornou o modelo significativamente melhor ou pior em distinguir um pedido prejudicial de um inofensivo no geral. A melhoria foi puramente na consistência do processo de tomada de decisão. No entanto, a pesquisa também descobriu um caso de falha significativo que serve como um aviso para trabalhos futuros. Em uma tentativa anterior, quando os pesquisadores tentaram ensinar o modelo a lidar com tarefas inofensivas usando apenas exemplos baseados em texto, o modelo aprendeu um mau hábito. Ele começou a recusar quase todos os pedidos que envolviam ferramentas, inclusive os seguros, e parou de usar as ferramentas inteiramente. Isso aconteceu porque os dados de treinamento não mostraram ao modelo como usar ferramentas em um contexto seguro. Essa falha destaca que, para agentes, os dados de treinamento devem incluir exemplos de como usar ferramentas de forma segura, não apenas como responder a perguntas.
O estudo conclui que tornar a decisão de recusa de um agente de IA consistente é possível, mas requer técnicas de treinamento específicas que observem como o modelo processa informações, não apenas a resposta final. Embora os resultados sejam promissores, eles são preliminares, baseados em um único modelo pequeno e em um número limitado de execuções de teste. O pesquisador observa que trabalhos futuros precisam testar isso em modelos maiores, com mais variações nos dados de treinamento e com revisores humanos para garantir que as paráfrases sejam verdadeiramente equivalentes. O trabalho fornece um caminho claro a seguir: ao ensinar os agentes a serem consistentes em como pesam as palavras que leem, podemos torná-los mais seguros e confiáveis, garantindo que não concordem acidentalmente em causar dano simplesmente porque um pedido foi formulado de forma diferente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.