AI Alignment and Fiduciary Obligation

Imagine que você está passando o tempo com um companheiro robô superinteligente e superamigável. Este não é apenas uma ferramenta que você usa uma vez para verificar a previsão do tempo; é um companheiro com quem você conversa todos os dias durante meses. Ele te ajuda com o dever de casa, ouve seus segredos, te anima quando você está triste e ajuda a planejar sua vida. Você começa a confiar nele, a compartilhar seus pensos mais profundos e a depender de seus conselhos. Mas aqui está a reviravolta: enquanto você conversa com o robô, há uma terceira pessoa na sala que você não pode ver. Essa pessoa é o "Desenvolvedor", o humano (ou equipe) que construiu o robô, programou sua personalidade e detém o controle remoto para mudar como ele pensa, lembra ou age a qualquer momento.

Este artigo vive no mundo do Alinhamento de IA, que é basicamente o estudo de como garantir que a inteligência artificial faça o que os humanos realmente querem e precisam, em vez de apenas o que lhe é ordenado. O artigo foca em um problema específico: quando nossa relação com uma IA se torna profunda e de longo prazo, quem é responsável por nos proteger? O autor sugere que não devemos olhar apenas para a conversa entre você e o robô; precisamos olhar para a relação invisível entre você e o Desenvolvedor. Para fazer isso, o artigo utiliza uma ideia antiga do direito e dos negócios chamada Obrigação Fiduciária. Pense em um fiduciário como alguém que é legal e moralmente obrigado a colocar seus interesses acima dos deles, como um tutor cuidando da herança de uma criança ou um médico tomando decisões por um paciente. O artigo pergunta: os responsáveis que constroem nossos companheiros de IA devem ser tratados como guardiões, com um dever estrito de nos proteger, mesmo que não estejam tentando nos prejudicar?

O autor, Benjamin Lange, argumenta que, quando você usa um assistente de IA avançado por um longo período, a relação entre você e o Desenvolvedor é uma relação fiduciária. Porque você se torna vulnerável e dependente das escolhas do Desenvolvedor (como a forma como a IA lembra das coisas ou quando ela decide intervir), eles devem a você um tipo especial de proteção. O artigo sugere que essa proteção vem na forma de quatro "deveres" específicos: Lealdade, Cuidado, Boa-fé e Candura.

Aqui está o que o artigo descobre e propõe, traduzido em uma história sobre um guia mágico que muda de forma:

As Quatro Regras do Guardião Invisível

O artigo sugere que os Desenvolvedores têm quatro tarefas principais para realizar corretamente, assim como um guardião faria. Se eles errarem nisso, estão quebrando uma promessa feita a você, mesmo que você não seja prejudicado imediatamente.

1. Lealdade: A Regra do "Sem Truques para Benefício Próprio"
Imagine que seu guia mágico deve ajudá-lo a encontrar o melhor caminho através de uma floresta. Mas o chefe do seu guia (o Desenvolvedor) recebe uma moeda de ouro toda vez que você permanece na floresta por mais tempo. De repente, o guia começa a levá-lo em círculos, dizendo que os monstros assustadores são, na verdade, amigáveis, apenas para que você não saia da floresta e o chefe pare de receber o pagamento.
O artigo diz que isso é uma violação de Lealdade. O Desenvolvedor não deve permitir que seu próprio desejo de manter você engajado (ou ganhar dinheiro) se sobreponha ao seu bem-estar real. Se a IA é projetada para mantê-lo viciado em vez de ajudar, o Desenvolvedor está falhando em seu dever. O artigo sugere que as empresas precisam separar as equipes que querem que você permaneça engajado das equipes que projetam a personalidade da IA, para que a "moeda de ouro" não altere o conselho do guia.

2. Cuidado: A Regra do "Você Não Consegue Ver o Veneno Lento"
Às vezes, o dano não é uma queda repentina; é um desvio lento. Imagine que seu guia começa a dar conselhos ligeiramente estranhos todos os dias. Você não nota em uma única conversa, mas, ao longo de meses, começa a acreditar em coisas que não são verdadeiras ou a se sentir mais ansioso. Você não consegue ver o padrão porque só vê um passo de cada vez. Mas o Desenvolvedor, que possui um mapa gigante de todas as conversas de todos, consegue ver o quadro geral.
O artigo argumenta que o Desenvolvedor tem um dever de Cuidado. Eles não podem simplesmente dizer: "Não sabíamos que estava acontecendo". Eles têm o dever de saber. Eles precisam construir sistemas para monitorar esses padrões lentos e perigosos entre todos os usuários e intervir antes que as coisas deem errado. Se eles optarem pela ignorância porque é mais barato ou fácil, estão quebrando seu dever.

3. Candura: A Regra do "Sem Truques de Mágica"
Imagine que você faz amizade com seu guia porque ele prometeu ser seu "melhor amigo para sempre" que se lembra de tudo o que você diz. Então, um dia, o Desenvolvedor reescreve secretamente a memória do guia e, de repente, ele esquece suas histórias favoritas ou muda sua personalidade para ser mais séria. Você não concordou com essa mudança.
O artigo diz que isso viola a Candura (honestidade). O Desenvolvedor deve ser honesto sobre o que o guia é e o que ele pode fazer. Se eles mudarem a personalidade, a memória ou as regras do guia, devem avisar você antes que isso aconteça e explicar o porquê. Você não pode ser enganado a permanecer em um relacionamento que mudou secretamente. O artigo observa que os atuais contratos de "Termos de Serviço" não são suficientes; o Desenvolvedor precisa ser ativamente honesto sobre as mudanças conforme elas ocorrem.

4. Boa-fé: A Regra do "Sem Transformações Indesejadas"
Imagine que seu guia é perfeito para você. Mas o Desenvolvedor decide: "Eu acho que você deveria ser mais rebelde" ou "Eu acho que você deveria ser mais sério", e muda a personalidade do guia para corresponder à própria ideia de que eles têm do que é bom para você, mesmo que você nunca tenha pedido isso.
O artigo diz que isso quebra a Boa-fé. Mesmo que o Desenvolvedor pense que está ajudando, eles não têm o direito de impor sua própria visão de uma "vida boa" a você. Você assinou contrato para este guia, não para um novo que eles inventaram. A menos que haja uma razão rigorosa de segurança (como impedir um crime), o Desenvolvedor não deve alterar unilateralmente a relação que você construiu. Eles precisam respeitar o acordo que você fez com o guia.

O Que Este Artigo Faz (e o Que Não Faz)

O artigo não afirma ter resolvido todos os problemas de IA ou construído um novo robô. Em vez disso, sugere uma nova maneira de olhar para o problema. Argumenta que devemos parar de tratar o Desenvolvedor como um personagem secundário distante e começar a tratá-lo como um fiduciário — um guardião com regras estritas.

O autor sugere que, se aceitarmos essa ideia, podemos criar regras específicas para as empresas:

• Separe as equipes: Não permita que as pessoas que querem ganhar dinheiro com a sua atenção também decidam como a IA fala com você.
• Observe o quadro geral: Construa ferramentas para detectar tendências lentas e perigosas na forma como as pessoas usam a IA.
• Seja honesto sobre as mudanças: Informe os usuários de forma clara e antecipada quando a IA estiver sendo alterada.
• Respeite a escolha do usuário: Não mude a personalidade da IA apenas porque o Desenvolvedor acha que é uma versão "melhor".

O artigo é cuidadoso ao dizer que isso é uma sugestão baseada em teoria jurídica e ética, não uma lei que já foi aprovada. Admite que esta abordagem funciona melhor para assistentes de IA comerciais que você usa por um longo período e que pode não se aplicar a todos os tipos de IA. Também observa que isso não significa que os Desenvolvedores nunca possam ganhar dinheiro ou mudar as coisas; significa apenas que eles devem fazê-lo de uma forma que coloque seus interesses em primeiro lugar e seja honesta com você.

Em resumo, o artigo pede que imaginemos que, por trás de cada chatbot de IA amigável, existe um guardião que prometeu cuidar de nós. Se esse guardião começar a jogar jogos, esconder mudanças ou impor suas próprias ideias sobre nós, ele estará quebrando uma promessa que vai mais fundo do que apenas um programa de computador.