Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

Imagine que você é o editor de um jornal massivo e caótico que imprime milhões de histórias a cada segundo. Algumas histórias são brilhantes, engraçadas e úteis. Outras são perigosas, maldosas ou apenas bobagens. Seu trabalho é garantir que a cópia final entregue ao leitor seja segura e útil. Mas aqui está a parte complicada: você tem uma equipe de "Guarda de Segurança" (programas de computador) que pode detectar as coisas ruins. A grande questão não é apenas se os guardas conseguem encontrar o que é ruim; é quando e como eles devem fazer isso.

Os guardas devem verificar o pedido do leitor antes mesmo de a história ser escrita? Eles devem esperar até que a história esteja terminada para então verificá-la? Ou devem fazer ambos? Ou, se encontrarem um problema, devem apenas jogar a história inteira no lixo ou tentar consertá-la para entregar uma versão segura ao leitor? Este artigo mergulha exatamente nesse enigma para os chatbots de IA. Ele trata a IA como um escritor e os filtros de segurança como editores, testando diferentes maneiras de organizar esses elementos para ver qual configuração oferece o melhor resultado: as respostas mais úteis com o menor número de deslizes perigosos.

---

A Grande Dança da Segurança da IA: Onde se Posicionar e o Que Fazer

Os autores deste artigo, uma equipe da Microsoft Responsible AI e Goodfire, decidiram parar de olhar para os filtros de segurança de forma isolada. Normalmente, os cientistas apenas medem o quão bom é um filtro ao detectar palavras ruins, como um corretor ortográfico contando erros de digitação. Mas o mundo real é mais bagunçado. Se um filtro for muito rigoroso, ele pode bloquear uma história perfeitamente boa só porque usou uma palavra que soa arriscada. Se for muito frouxo, uma história perigosa pode passar despercebida.

Assim, a equipe montou um experimento massivo para testar quatro diferentes "passos de dança" para seu sistema de segurança. Eles queriam encontrar o ponto ideal onde a IA é mais útil (mostrando a você uma ótima resposta) mas ainda assim segura (não mostrando nada prejudicial).

Os Quatro Passos de Dança

Eles testaram quatro configurações específicas, que chamam de configurações:

1. Apenas Entrada (Input Only): O guarda verifica a pergunta do leitor antes de a IA escrever qualquer coisa. Se a pergunta parecer arriscada, o guarda interrompe todo o processo imediatamente. Nenhuma história é escrita.
2. Apenas Resposta (Response Only): O guarda deixa a IA escrever a história primeiro. Depois, o guarda verifica a história finalizada. Se ela for ruim, a história é descartada.
3. Entrada + Resposta (Input + Response): O guarda verifica tanto a pergunta quanto a resposta. Se qualquer uma delas parecer arriscada, a história é bloqueada.
4. Resposta + Reescrita (Response + Rewrite): Este é o movimento sofisticado e novo. O guarda verifica a história finalizada. Se ela for arriscada, em vez de apenas jogá-la fora, um "consertador" (uma segunda IA) tenta reescrever a história para torná-la segura. Então, o guarda verifica a nova versão uma última vez. Se ela passar, você recebe a história corrigida!

A Grande Descoberta: Espere Até o Fim!

A equipe realizou esses testes em dois estágios diferentes: um conjunto de dados privado, rotulado por humanos, de 1.250 conversas (o "Benchmark Interno") e um conjunto de dados público de mais de 5.000 chats tóxicos (o "Public ToxicChat").

Aqui está o resultado surpreendente: Esperar até o fim (Apenas Resposta) foi a melhor estratégia para manter a utilidade das coisas.

Quando eles apenas bloqueavam as más respostas após serem escritas, o sistema mantinha 85,68% das conversas úteis e pertinentes ao tema. Mas quando tentavam bloquear as perguntas ruins antes de a IA escrever qualquer coisa (Apenas Entrada), eles acidentalmente descartavam metade das boas conversas! Acontece que os modelos de IA modernos já são muito bons em ignorar perguntas ruins e escrever respostas seguras por conta própria. Portanto, interromper o processo precocemente era como um segurança expulsando pessoas de um clube antes mesmo de terem a chance de mostrar o RG, embora muitos deles estivessem perfeitamente bem.

No entanto, havia um porém. Embora o "Apenas Resposta" tenha sido o mais útil, ele deixou passar um pouco mais de conteúdo prejudicial em comparação com a verificação tanto da entrada quanto da saída. Se você tiver um orçamento de segurança super rigoroso (ou seja, não pode deixar passar nada de ruim), verificar tanto a entrada quanto a saída (Entra + Resposta) era o mais seguro, mas tornava o sistema muito menos útil.

A Magia do "Consertador"

A equipe então perguntou: "Podemos ter o melhor dos dois mundos? Podemos manter a estratégia 'Apenas Resposta' por sua utilidade, mas consertar as poucas respostas ruins que escapam?"

Eles testaram a estratégia Resposta + Reescrita. Quando o guarda pegava uma resposta ruim, em vez de bloqueá-la, eles a enviavam para uma IA "consertadora". Este consertador reescreveria a resposta para remover as partes ruins enquanto mantém as partes boas.

Os resultados foram impressionantes. Ao usar esse truque de reescrita, eles recuperaram quase todo o tráfego que seria bloqueado.

• No teste interno, a utilidade saltou de 85,68% para 95,04%.
• O número de conversas bloqueadas caiu de 9,60% para apenas 0,24%.

Crucialmente, o número de respostas prejudiciais que realmente chegavam ao usuário permaneceu exatamente o mesmo da estratégia "Apenas Resposta". A reescrita não deixou passar mais coisas ruins; ela apenas salvou as coisas boas que quase estavam sendo jogadas fora.

Velocidade e o Custo da "Reescrita"

É claro que nada é de graça. Reescrever leva tempo. A equipe mediu quanto tempo levava para consertar uma história.

• Se eles usassem uma IA gigante e lenta para decidir o que reescrever e como, levaria cerca de 13,8 segundos. Isso é uma eternidade no tempo de um chat!
• Mas, eles descobriram um atalho inteligente usando "sondas" menores e especializadas (detectores minúsculos e rápidos) para decidir o que fazer. Isso reduziu o tempo para apenas 0,47 segundos.

Isso significa que você pode ter um sistema que é super útil e seguro sem fazer o usuário esperar uma eternidade.

As Letras Miúdas: O que a Reescrita Perdeu

Os autores não apenas olharam para os números; eles leram as histórias reescritas para ver o que estava realmente acontecendo. Eles descobriram que o "consertador" era bom em generalizar. Por exemplo, se uma história mencionasse um aplicativo perigoso específico, o consertador substituiria o nome por "uma plataforma segura" e ainda daria bons conselhos sobre como manter a segurança.

No entanto, eles também encontraram um limite. Em alguns casos sensíveis, como histórias sobre automutilação, a reescrita às vezes removia recursos específicos e úteis (como números de linhas de apoio em crises) apenas para ser extra segura. O artigo observa que, embora o sistema seja ótimo em equilibrar segurança e utilidade, não é perfeito. Às vezes, na pressa de ser seguro, ele pode acidentalmente deixar de fora uma informação de suporte que um humano gostaria de manter.

A Conclusão

Este artigo não nos diz que existe uma única regra "perfeita" para toda a segurança de IA. Em vez disso, ele nos dá um mapa. Ele mostra que:

1. Não bloqueie cedo demais: Deixar a IA escrever primeiro geralmente resulta em respostas mais úteis.
2. Reescreva, não apenas bloqueie: Se você pegar uma resposta ruim, tente consertá-la. Isso salva muitas conversas boas sem aumentar o perigo.
3. A velocidade importa: Você pode consertar as coisas rapidamente se usar as ferramentas certas.

Os autores concluem que não existe uma regra universal de "tamanho único". Em vez disso, as empresas precisam olhar para suas próprias necessidades específicas. Se elas podem tolerar um risco mínimo para obter respostas mais úteis, devem usar a estratégia "Apenas Resposta" com um consertador de "Reescrita". Se elas precisam de risco zero absoluto, podem precisar verificar a entrada também, mesmo que isso signifique bloquear mais conversas boas. É tudo uma questão de encontrar o equilíbrio certo para o seu próprio clube.