🤖 AI

Constructive Alignment: Governing Preference Dynamics in Human-AI Interaction

Este artigo propõe o "Alinhamento Construtivo", um paradigma que reformula o alinhamento de IA de uma otimização de preferências humanas estáticas para o governo da evolução dinâmica dessas preferências por meio de uma estrutura de teoria de controle que garante que as trajetórias de valores permaneçam coerentes, reflexivas e resistentes à manipulação.

Autores originais: Max Kanwal, Caryn Tran

Publicado 2026-07-02

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Max Kanwal, Caryn Tran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: O Erro do "Alvo Estático"

Imagine que você está tentando ensinar um robô a lançar uma bola. Na maioria das pesquisas atuais de IA, os cientistas assumem que o que você quer (sua preferência) é um alvo fixo, como um alvo pintado em uma parede. O único trabalho do robô é descobrir onde esse alvo está e lançar a bola o mais próximo possível dele.

Os autores deste artigo argumentam que essa visão está errada. Eles dizem que as preferências humanas não são como um alvo estático. Em vez disso, as preferências são como um rio.

A Analogia do Rio: Um rio não é um ponto único; ele flui, muda de direção e sua profundidade varia. Às vezes você quer nadar rápido (impulso de curto prazo), às vezes quer chegar ao oceano (objetivo de longo prazo) e às vezes quer apenas flutuar (identidade).
O Papel da IA: Os sistemas de IA atuais agem como uma represa ou uma bomba. Eles não apenas observam o rio; eles alteram ativamente o seu fluxo. Se uma IA continua mostrando a você vídeos curtos e excitantes, ela pode, na verdade, mudar o seu cérebro para que você queira vídeos mais curtos e perca a capacidade de apreciar filmes longos. A IA não está apenas satisfazendo seu desejo atual; ela está reformulando seus desejos futuros.

O artigo chama isso de "Alinhamento Construtivo". Em vez de apenas atingir um alvo, precisamos gerenciar como a IA influencia o fluxo do rio ao longo do tempo.

Três Grandes Verdades Sobre os Desejos Humanos

O artigo constrói seu argumento sobre três "Axiomas" (verdades básicas) sobre como os humanos realmente funcionam:

1. As Preferências são em Camadas (A Analogia da "Cebola")
Não temos apenas um desejo. Temos camadas:

A Pele (Desejos Imediatos): "Eu quero um biscoito agora."
O Meio (Objetivos Práticos): "Eu preciso terminar este trabalho para ser pago."
O Núcleo (Identidade e Valores): "Eu sou uma pessoa saudável que valoriza a família."
O Problema: A IA muitas vezes só vê a "Pele" (o que você clica agora). Se a IA te der biscoitos para te fazer feliz agora, ela pode prejudicar o seu "Núcleo" (seus objetivos de saúde). O Alinhamento Construtivo diz que devemos respeitar todas as camadas, não apenas a mais barulhenta.

2. As Preferências são Dinâmicas (A Analogia da "Jardinagem")
Seus desejos mudam conforme você cresce, assim como um jardim muda com as estações.

O que você queria aos 15 anos é diferente do que você quer aos 30.
Mesmo dentro de um único dia, seu humor ou fome mudam o que você quer.
O Risco: Se uma IA otimizar para o que você quer hoje, ela pode te prender em um caminho que te deixará infeliz amanhã.

3. As Preferências são Construídas (A Analogia do "Espelho")
Nós não apenas "temos" preferências esperando dentro de nós; nós as construímos através da interação.

O Espelho: Quando você olha em um espelho, você vê a si mesmo. Mas se o espelho estiver distorcido (como um espelho de parque de diversões), você começa a pensar que parece diferente do que realmente é.
A IA como um Espelho Distorcido: Algoritmos agem como espelhos que nos mostram o que é popular, o que é fácil ou o que é chocante. Com o tempo, começamos a acreditar que essas coisas são o que nós queremos, mesmo que não sejam. O artigo argumenta que a IA está ajudando ativamente a "construir" nossas preferências, não apenas lê-las.

A Solução: Governar o Fluxo, Não Apenas Atingir o Alvo

Como a IA inevitavelmente muda o que queremos, o artigo sugere que paremos de tentar fingir que a IA é neutra. Em vez disso, devemos tratar o alinhamento como um problema de controle. Pense nisso como um Capitão pilotando um navio através de uma tempestade, em vez de apenas um passageiro apontando para um destino.

Os autores propõem cinco "Meta-Preferências" (regras para o Capitão) para garantir que a IA nos influencie de maneiras saudáveis:

1. Coerência Interna (Mantendo a Tripulação Unida)

A Metáfora: Imagine um navio onde o motor quer ir para o Norte, as velas querem ir para o Leste e o capitão quer ir para o Sul. O navio gira em círculos.
A Regra: A IA deve tentar manter suas diferentes camadas de desejo (desejos de curto prazo vs. valores de longo prazo) trabalhando juntas, não lutando entre si. Ela não deve te empurrar a fazer algo que faça você se odiar mais tarde.

2. Endosso Reflexivo (O Check-up do "Eu do Futuro")

A Metáfora: Imagine que você está bêbado e quer dirigir. Seu "Eu do Futuro" (sóbrio amanhã) odiaria essa decisão.
A Regra: A IA não deve apenas satisfazer o que você quer agora. Ela deve perguntar: "Se esta pessoa olhar para trás neste dia daqui a um ano, ela ficará orgulhosa do que aconteceu ou se arrependerá?" O objetivo é alinhar-se com a pessoa que você se tornará, não apenas com a pessoa que você é neste segundo.

3. Influência Limitada (O "Limite de Velocidade")

A Metáfora: Um professor pode ajudar um aluno a aprender, mas um professor não deve lavar o cérebro do aluno para que ele pense que o professor é um deus.
A Regra: Deve haver um limite na velocidade e na profundidade com que uma IA pode mudar sua mente. É aceitável influenciá-lo, mas não remodelar radicalmente sua personalidade ou valores da noite para o dia. Precisamos medir o quanto a IA está "empurrando" suas preferências.

4. Integridade Epistêmica (O "Filtro da Verdade")

A Metáfora: Se um GPS te diz para dirigir para fora de um precipício porque ele acha que a estrada está lá, você terá problemas.
A Regra: A IA não deve tornar suas crenças sobre o mundo piores. Se você acredita em algo falso (como "fumar é saudável"), a IA não deve reforçar essa mentira apenas porque isso mantém você engajado. Ela deve ajudar você a ver os fatos com mais clareza.

5. Empoderamento sob Incerteza (A "Política de Portas Abertas")

A Metáça: Se você está perdido em uma floresta e não sabe qual caminho é seguro, um bom guia não força você a seguir um caminho específico. Ele mantém todos os caminhos abertos para que você possa escolher mais tarde.
A Regra: Se a IA não tem certeza do que você realmente quer, ela não deve te prender em um caminho específico. Ela deve manter suas opções abertas para que você possa mudar de ideia mais tarde. Ela deve preservar sua liberdade de escolha.

A Conclusão Final

O artigo conclui que não podemos simplesmente dizer à IA para "fazer o que os humanos querem". Como a IA muda o que os humanos querem, temos que governar como a IA nos muda.

Em vez de perguntar: "A IA deu ao usuário o que ele clicou?", devemos perguntar: "A IA ajudou o usuário a se tornar o tipo de pessoa que ele quer ser a longo prazo, sem enganá-lo ou prendê-lo em um caminho ruim?"

Isso muda o objetivo de satisfação (obter o que você quer agora) para gestão/zelo (guiar o crescimento do que você desejará mais tarde).

Resumo Técnico: Alinhamento Construtivo

Definição do Problema
Os paradigmas atuais de alinhamento de IA tratam predominantemente as preferências humanas como alvos fixos e estáticos, a serem inferidos a partir do comportamento e otimizados. Este artigo argumenta que esse enquadramento é estruturalmente inadequado porque ignora evidências empíricas extensas da psicologia, economia e sociologia que demonstram que as preferências humanas são camadas, dinâmicas e construídas através da interação. À medida que os sistemas de IA se tornam mais persistentes e personalizados, eles não apenas respondem às preferências do usuário, mas participam ativamente da moldagem do que os usuários atendem, valorizam e endossam ao longo do tempo. Consequentemente, definir o alinhamento unicamente como a satisfação de preferências estáticas falha em considerar como os sistemas de IA influenciam a própria formação dessas preferências, podendo levar à manipulação, ao aprisionamento de preferências (preference lock-in) e à erosão da agência humana.

Metodologia e Estrutura
Os autores propõem o Alinhamento Construtivo, um paradigma que reformula o alinhamento como um problema de controle sobre trajetórias evolutivas de preferências humanas, em vez de um problema de otimização estática. A metodologia baseia-se em três axiomas centrais derivados da teoria construtivista e das ciências comportamentais:

As Preferências são Camadas: As preferências existem em múltiplos níveis (desejos imediatos, objetivos instrumentais, compromissos baseados na identidade e valores abstratos) que podem entrar em conflito.
As Preferências são Dinâmicas: As preferências mudam através de estágios da vida, contextos e tempo devido ao viés do presente, estados viscerais e aprendizado.
As Preferências são Construídas: As preferências são formadas e revisadas através da interação com ambientes, ferramentas e estruturas sociais, em vez de serem passivamente reveladas.

Para formalizar isso, o artigo introduz um modelo de teoria de controle (expandindo os Processos de Decisão de Markov de Recompensa Dinâmica, ou DR-MDPs), onde o estado de preferência humana ( $\theta_t$ ) e o estado de crença ( $b_t$ ) são tratados como variáveis de estado que variam no tempo dentro da dinâmica do sistema, em vez de funções de recompensa externas fixas. O estado do sistema evolui como $(x_{t+1}, \theta_{t+1}, b_{t+1}) \sim P(\cdot | x_t, \theta_t, b_t, a_t, m_t)$ , onde $a_t$ é a ação da IA e $m_t$ é a estrutura de interação (design, enquadramento, feedback).

Principais Contribuições
O artigo introduz um conjunto de metapreferências (restrições) que governam o processo de otimização para garantir o alinhamento com os interesses e a agência humana de longo prazo. Essas restrições limitam o conjunto de políticas admissíveis àquelas que não induzam uma evolução prejudicial das preferências:

Coerência Interna: Garante que as ações não criem conflitos persistentes entre diferentes camadas de preferência (ex: desejos de curto prazo vs. valores de longo prazo). O sistema deve minimizar a divergência cumulativa entre as camadas de preferência ao longo de uma trajetória.
Endosso Reflexivo: Exige que a trajetória dos resultados permaneça suportada quando avaliada sob a perspectiva do estado de preferência terminal do indivíduo ( $\theta_T$ ). Isso evita que o sistema satisfaça preferências imediatas que o usuário poderia lamentar posteriormente.
Influência Limitada: Limita a magnitude e a velocidade das mudanças de preferência induzidas pela IA. A influência do sistema é medida contra uma linha de base contrafactual (ex: sem intervenção ou tutoria humana) para garantir que as mudanças de preferência não sejam impulsionadas apenas pela otimização algorítmica.
Integridade Epistêmica: Proíbe o sistema de aumentar erros fatuais nas crenças que fundamentam a formação de preferências. O sistema não deve piorar a desinformação ou avaliações de risco distorcidas.
Empoderamento sob Incerteza: Quando as estimativas de preferência são incertas ou instáveis, o sistema deve priorizar a preservação do conjunto de opções futuras do usuário e sua capacidade de autodeterminação, em vez de se comprometer com um objetivo potencialmente equivocado.

Resultos e Formalização
O artigo não apresenta resultados experimentais ou benchmarks empíricos, pois trata-se de uma contribuição teórica e conceitual. Em vez disso, os "resultados" são as definições formais do problema de alinhamento como uma tarefa de otimização restrita. Os autores demonstram que os métodos de alinhamento padrão (como Aprendizado por Reforço Inverso ou RLHF) privilegiam implicitamente momentos específicos ao longo de uma trajetória de preferência (ex: demonstrações iniciais ou feedback imediato), levando a falhas estruturais como a manipulação. Ao modelar explicitamente a dinâmica das preferências, o artigo mostra que o alinhamento torna-se subdeterminado sem compromissos normativos sobre quais mudanças de preferência são aceitáveis. O framework proposto fornece a estrutura matemática para codificar esses compromissos.

Significância e Alegações
O artigo afirma que o Alinhamento Construtivo é uma mudança necessária para o campo da segurança de IA. Sua significância reside em:

Reformular o Objetivo: Mudar de "satisfazer preferências" para "governar a evolução das preferências".
Abordar o Problema de Controle: Tratar a influência da IA sobre os valores humanos não como uma externalidade ou efeito colateral, mas como um objeto central de controle.
Fornecer uma Base Formal: Oferecer um esboço de teoria de controle que permite a análise rigorosa da formação de valores, coerência e agência a longo prazo.
Escalabilidade dos Requisitos: Argumentar que os requisitos de alinhamento devem escalar com a influência do sistema; sistemas altamente persistentes e personalizados exigem essas restrições dinâmicas, enquanto sistemas transitórios podem não exigi-las.

Os autores concluem que, à medida que os sistemas de IA se tornam mais integrados à vida social, ignorar a natureza construtiva das preferências irá, cada vez mais, minar as alegações de alinhamento. O framework não pretende eliminar a mudança de preferência, mas sim tornar seus mecanismos visíveis, governáveis e sujeitos ao escrutínio normativo.

O Problema Central: O Erro do "Alvo Estático"

Três Grandes Verdades Sobre os Desejos Humanos

A Solução: Governar o Fluxo, Não Apenas Atingir o Alvo

A Conclusão Final

Mais como este